Специалист отдела качества поиска Google Джон Мюллер предупреждает, что страницы, заблокированные через disallow в robots.txt, все еще могут индексироваться, если в сети есть на них ссылки.
Это может стать проблемой для вебмастеров: бот увидит страницу, не сможет ее просканировать и автоматически посчитает, что на ней нет контента. Мюллер отмечает, что лучший способ закрыть страницы от индексирования и сканирования – использовать мета-тег noindex.
Полный ответ специалиста можно посмотреть с отметки 24:36 (eng):
Напомним, на днях Google Поиск начал тестировать кнопку «Показать последние результаты».
Источник: Search Engine Journal