Ann Smarty: страница может быть проиндексирована, даже если робот ее не посетит.
Andy Beard: в терминологии Google это просто обращение к странице.
Andy Beard: робот сначала должен посетить страницу, чтобы проиндексировать ее. Переход по ссылке = индексация.
Rishi Lakhani: «обнаружение» ограничивает возможность, чтобы URL был показан. Посещение роботом и индексация – это немного другое.
Ann Smarty: индексация – это появление в выдаче. Посещение роботом = прохождение через страницу.
В итоге, получилась довольно оживленная дискуссия. Впрочем, специалисты могли пропустить, что вопрос индексации закрытых robots.txt страниц поднимал сам Мэтт Каттс еще в 2009г. Он заметил, что Google не обходит закрытую страницу, если информация о ней присутствует в каталогах или другие ресурсы ссылаются на нее. В таких случаях поисковик берет ссылку, но саму страницу не индексирует, хотя она и может попасть в выдачу. Если специалисты хотят, чтобы страницы не появлялись в SERP, надо использовать noindex, говорит Мэтт.
Напоминаем, что если вебмастера хотят удалить какие-то страницы из результатов поиска, самый быстрый способ это сделать – напрямую в панели управления поисковиков в Google removal tool и в Яндекс.Вебмастере.