В течение последних нескольких недель появлялись различные сообщения о том, что Google индексирует собственные результаты поиска, нарушая свое руководство для вебмастеров. Так выглядели результаты выдачи до обновления robots.txt:
Согласно руководству, robots.txt используется для того, чтобы предотвратить сканирование страниц поисковой выдачи, не представляющих интереса для пользователей.
Представители компании заявили, что произошедшее является сбоем, связанным с несколькими слешами в веб-адресах, а также что разработчики произвели изменение файла robots.txt в google.com/robots.txt. После исправления ошибки поисковая выдача выглядит так:
