Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом рассказал представитель компании Джон Мюллер у себя в Twitter.
Один из пользователей поинтересовался у Мюллера, почему в поиске отображаются заголовки и описания страниц по сайту, полностью заблокированному в robots.txt. В ответ Мюллер сообщил, что URL могут индексироваться без сканирования, даже если они заблокированы в robots.txt.
Пользователь также поинтересовался, почему отображаются заголовки и ссылки, если URL не сканируются. Мюллер ответил, что заголовки обычно берутся из ссылок, но сниппетов в данном случае быть не должно.
Ситуацию также прокомментировал консультант по поисковому маркетингу Барри Адамс. Он отметил, что robots.txt – это инструмент для управления сканированием, а не индексированием. Для предотвращения индексации нужно использовать соответствующую директиву в robots или HTTP-заголовки X-Robots-Tag. Однако чтобы Googlebot увидел данные директивы, ему нужно позволить сканировать страницы.
Напомним, на днях Google обновил свой инструмент для проверки оптимизации сайтов для мобильных устройств.
Источник: Search Engine Journal