Google может индексировать заблокированные страницы, не сканируя их

Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом рассказал представитель компании Джон Мюллер у себя в Twitter.

Один из пользователей поинтересовался у Мюллера, почему в поиске отображаются заголовки и описания страниц по сайту, полностью заблокированному в robots.txt. В ответ Мюллер сообщил, что URL могут индексироваться без сканирования, даже если они заблокированы в robots.txt.

Пользователь также поинтересовался, почему отображаются заголовки и ссылки, если URL не сканируются. Мюллер ответил, что заголовки обычно берутся из ссылок, но сниппетов в данном случае быть не должно.

Ситуацию также прокомментировал консультант по поисковому маркетингу Барри Адамс. Он отметил, что robots.txt – это инструмент для управления сканированием, а не индексированием. Для предотвращения индексации нужно использовать соответствующую директиву в robots или HTTP-заголовки X-Robots-Tag. Однако чтобы Googlebot увидел данные директивы, ему нужно позволить сканировать страницы.

Напомним, на днях Google обновил свой инструмент для проверки оптимизации сайтов для мобильных устройств.

Источник: Search Engine Journal