Западные SEO спорят: что считать индексацией

Западные SEO-специалисты развернули бурную дискуссию относительно того, может ли URL индексироваться, если страница закрыта noindex или файлом robots.txt. Казалось бы, ответ очевиден. Однако, если задать такой вопрос в комнате, наполненной гуру SEO, ответы могут быть самые неожиданные, пишет редактор Search Engine RoundtableБарри Шварц. Причина тому, что в выдаче Google часто можно увидеть ссылки на сайты, доступ к страницам которых ограничен поисковым роботам. Считается ли в данном случае URL проиндексированным или нет? Вот мнения некоторых западных SEO‑специалистов по этому поводу.

Ann Smarty: страница может быть проиндексирована, даже если робот ее не посетит.

Andy Beard: в терминологии Google это просто обращение к странице.

Andy Beard: робот сначала должен посетить страницу, чтобы проиндексировать ее. Переход по ссылке = индексация.

Rishi Lakhani: «обнаружение» ограничивает возможность, чтобы URL был показан. Посещение роботом и индексация – это немного другое.

Ann Smarty: индексация – это появление в выдаче. Посещение роботом = прохождение через страницу.

В итоге, получилась довольно оживленная дискуссия. Впрочем, специалисты могли пропустить, что вопрос индексации закрытых robots.txt страниц поднимал сам Мэтт Каттс еще в 2009г. Он заметил, что Google не обходит закрытую страницу, если информация о ней присутствует в каталогах или другие ресурсы ссылаются на нее. В таких случаях поисковик берет ссылку, но саму страницу не индексирует, хотя она и может попасть в выдачу. Если специалисты хотят, чтобы страницы не появлялись в SERP, надо использовать noindex, говорит Мэтт.

Напоминаем, что если вебмастера хотят удалить какие-то страницы из результатов поиска, самый быстрый способ это сделать – напрямую в панели управления поисковиков в Google removal tool и в Яндекс.Вебмастере.