Ускоряем индексацию сайта

Сергей Кокшаров

Успешный SEO-блогер, главный редактор Optimization.com.ua

Некоторые сайты охотно лезут в индекс поисковиков, другие же наоборот — загоняются туда пинками в виде хороших внешних ссылок. Пробуя разные методы, мне понравился такой малозатратный, как регистрация сайта в социальных закладках, либо же покупка постового на хорошем блоге, но здесь речь не об этом.

Замечено, что проблема индексации сайта возникает лишь при большом количестве страниц, которые появились не постепенно, в результате ежедневного обновления, а одновременно при добавлении сайта в адурилку. Представьте картину, когда ваш ресурс впервые посещает поисковый робот и, сканируя его, видит массу сгенерированного контента. К тому же картина может усугубиться наличием неграмотной перелинковки. Одностраничные сайты или сайты-визитки, как правило, в индекс попадают довольно быстро при наличии на них уникального контента.

Исходя из вышесказанного и собственных практических примеров, могу утверждать, что постоянное (или регулярное) обновление сайта прибавляет ему траста, что, в свою очередь, заставляет робота поисковой системы изменять своё расписание обхода сайта и ускоряет его индексацию. Попадание страниц в индекс происходит практически моментально, особенно, если добавить сюда дополнительный действенный способ ускорить индексацию сайта.

Вот, предложенный мною алгоритм для быстрого попадания в индекс:

1. Выделяем на сайте разделы, которые периодически обновляются.
Это могут быть новости, отзывы, статьи или что-либо ещё.

2. Устанавливаем RSS.
Для выбранных разделов устанавливаем rss канал. С помощью ленты RSS поисковик может узнать точную дату публикации материала и анализировать вашу активность на сайте.

3.Регистрируемся в FeedBurner.
FeedBurner нужен для того, чтобы придать вашему каналу стандартный вид для разных юзер-агентов. Также этот сервис позволяет посылать пинги в различные поисковые и другие сервисы, уведомляя о добавлении нового контента.

4. Регистрируемся в Twitter.
Если вы ещё не зарегистрированы в Твиттере, советую это сделать сейчас. Эта социальная сеть дает много возможностей как в плане маркетинга, так и в плане помощи для индексации сайта (см. след. пункт).

5. Настраиваем кросспостинг RSS в Twitter.
С помощью RSS2Twitter или Твиттерфида настраиваем кросспостинг в твиттер. Записи из RSS будут автоматически добавляться в ваш твиттер-аккаунт и фолловеры (подписчики) смогут быстро отслеживать обновления на вашем сайте.

Таким образом, как только вы публикуете новый контент на сайте, запись попадает сначала в rss канал, потом в feedburner с пингом крупных поисковых сервисов и далее в Twitter. Поисковики обязательно заметят этот контент и не замедлят добавить его в свой индекс, конечно если он более-менее уникален.

Для подтверждения этих доводов проведен эксперимент. В SEO-словаре, где настроены все вещи, описанные выше, был добавлен новый термин «портянка» и каждую минуту отслеживалось движение в индексе Google (индексация сайтов в Яндекс работает чуть по-другому).

Через 3 минуты после добавления определения в словарь запись появилась в Твиттере.

Сразу же была проиндексирована главная страница словаря (повторю, прошло 3 минуты).

Еще через 7 минут добавленная страница появилась в индексе.

Тут баг Google в том, что он написал для сайта «31 минута», хотя на самом деле страница появилась не позже 10 минут назад.

Итого, весь процесс занял максимум 10 минут и сайт встал один из первых по запросу что такое портянка. Подобный способ пойдет даже для сайтов, предлагающих ремонт окон. На больших сайтах, где контент добавляется буквально каждую минуту (новостники и т.д.), страницы в индексе появляются, соответственно, ещё быстрее. Например, попробуйте поэкспериментировать с блог-платформой LiveJournal.