Robots.txt не помеха для Google +1
Игнорирует ли кнопка Google +1 директивы файла robots.txt? Этот вопрос задал один из западных вебмастеров
По словам представителей поисковика, +1 взаимодействует с robots.txt и другими директивами в интересной форме. Данная кнопка может быть установлена на любых страницах, в том числе и на закрытых для индексирования. В тот момент, когда пользователь нажимает на +1, Google может зайти на страницу, чтобы выяснить, является ли она публичной. Эта проверка игнорирует директивы, однако никак не влияет на поведение поисковых роботов и на то, как они взаимодействуют с файлом robots.txt.
Данный вопрос, заданный западными вебмастерами, представляется вполне актуальным в России в свете недавних скандалов, связанных с утечкой данных пользователей. Яндекс.Метрика, действуя подобно кнопке +1, передавала адреса страниц, которые стали ей известны, роботу поисковика. Так как страницы не были запрещены для индексации, то они оказались в выдаче Яндекса. Поэтому в наши дни, когда количество счетчиков и кнопок (вроде +1) постоянно растет, вебмастерам следует быть особенно внимательными и не забывать о файле robots.txt.
Случилось что-то важное? Поделитесь новостью с редакцией.
-
только позавчера столкнулся со следующей ситуацией.
мой знакомый продаётся в сапе. и естественно он, наслушавшись воплей яндекса и начитавшись seonews закрыл в роботсе у себя папку сапы.
закрыл вот таким образом
User-Agent: Yandex
Disallow:/много цифр/
словами "много цифр" я заменил саповский хеш код
я моментально показал, почему так делать нельзя. набрал в командной строке http ://url.ru/много цифр/links.db и ткнул пальцем в открывш...только позавчера столкнулся со следующей ситуацией.
мой знакомый продаётся в сапе. и естественно он, наслушавшись воплей яндекса и начитавшись seonews закрыл в роботсе у себя папку сапы.
закрыл вот таким образом
User-Agent: Yandex
Disallow:/много цифр/
словами "много цифр" я заменил саповский хеш код
я моментально показал, почему так делать нельзя. набрал в командной строке http ://url.ru/много цифр/links.db и ткнул пальцем в открывшиеся ссылки. такая прямая запись в роботсе аннулирует защиту хеш-кодом, сдавая его всем желающим. как минимум нужно использовать звёздочки, как максимум положиться на защиту сапы.
лично я, например, трижды подумаю, прежде чем пути к сугубо конфиденциальным файлам светить в роботсе - даже через звёздочки.
роботс не только яндекс бот читает, но и хакеры со своими скриптами, это общедоступный файл.