Яндекс индексирует все, что плохо лежит

Считаю что последняя шумиха, связанная с Яндексом не более и не менее пиар (чёрный или белый решать вам). Не первый день Яша индексирует то, что хотели скрыть. Но раньше это никого не интересовалао, потому что вебмастера понимали: сами дураки, не правильно сделали robots.txt. Сейчас же раздули из мухи слона.

КЭПы, ей богу. А до этого не было известно, что куча гавномагазинов не закрывают от индексации некоторые "интересные" страницы? Яндекс то тут причем?

Нужно лучше следить за данными и закрывать их не robots.txt, а программными средствами т.к. не все роботы могут учитывать файл robots.txt

итить, мой запрос уже на федеральные каналы попал)

Ладно, создатели говномагазинов. Но я уже писал, что даже рамблер неправильно составил роботс и в гугл попало 10миллионов страниц с данными счетчиков.

Плюс Яндекс, Гугл, Рамблер и Мэйл тоже забыли в роботс некоторые "технические страницы" убрать , например с метками контекстных и медийных кампаний.
Яндекс ответил на это, что намеренно фильтруя страницы по каким-либо признакам, они могут потерять полноту индекса а это они делать не будут.

Плюс кроме роботса данные о таких страницах в счетчиках статистики как рефереры хранятся. Можно повесить рекламный баннер-тизер на таком сайте с приватными данными и получить кучу рефереров пользователей :)

Анальное украшение для Руслана из Краснодара :: демотиватор в тему http://seodemotivators.ru/?p=2710

Думаю, изначально и веб-мастеру и пользователю стоит предполагать, что поисковые системы по умолчанию злоумышляют против нас. И относиться к ним, как знаменитости относятся к папарацци, а агенты КГБ относились к сотрудникам американского посольства. То есть с максимальным недоверием. Я вот тут накидал простейшие меры безопасности ( http://www.blog-castcom.ru/archives/1114 ) , которые, конечно, не панацея, но в некоторых случаях помогут сохранить анонимность и/или конфиденциальную информацию.

Неприятная новость.
Да, WebAsyst отправлял почтой прямую ссылку на страницу с информацией о заказе, при этом более нигде он её не публиковал, и никак не защищал (страница сгенерирована спец. для покупателя и только ему известен УРЛ).
Да, Яндекс "перехватил" УРЛ через: 1) почтовый ящик покупателя на Яндексе (не секрет что поисковики анализируют корреспонденцию, чтобы нам потом подсовывать рекламу); 2) Я.Бар; 3) Я.Метрика; +ещё что-то. Перехваченный УРЛ, Яндекс проиндексировал (а вдруг там есть ещё полезные УРЛы -- !!!) и тут же выложил в основной индекс.

Картина очень похожа на историю: Вы (Продавец) пошли гулять, но дверь не закрыли, а позвонили в дверь Соседке (Покупателю) и сказали ей что дверь не закрыта и она может в любое время зайти и взять книжку почитать. Хуликан (Яндекс) курил на лестничной клетке этажом выше и услышал Вашу с Соседкой беседу.  Он воспользовался открытой дверью и зашел в квартиру (дверь же не закрыта -- robots.txt не запретил). Походил по квартире, и в ванной увидел Ваш "интим", сфотографировал его и ушел. А потом  у себя на сайте вывесил фото Вашего "интима".
Вопрос: кто виноват в том что Ваш "интим" на сайте Хулигана? Вы потому что не закрыли дверь, или Хулиган который подслушал разговор который его не касался, зашел, "сфотографировал" и вывесил в Интернете.

Виноваты оба.
Но если бы Яндекс не проиндексировал личную переписку (!) не было бы проблем с открытой дверью.