Некоторые сайты охотно лезут в индекс поисковиков, другие же наоборот — загоняются туда пинками в виде хороших внешних ссылок. Пробуя разные методы, мне понравился такой малозатратный, как регистрация сайта в социальных закладках, либо же покупка постового на хорошем блоге, но здесь речь не об этом.
Замечено, что проблема индексации сайта возникает лишь при большом количестве страниц, которые появились не постепенно, в результате ежедневного обновления, а одновременно при добавлении сайта в . Представьте картину, когда ваш ресурс впервые посещает поисковый робот и, сканируя его, видит массу сгенерированного контента. К тому же картина может усугубиться наличием . Одностраничные сайты или сайты-визитки, как правило, в индекс попадают довольно быстро при наличии на них уникального контента.
Исходя из вышесказанного и собственных практических примеров, могу утверждать, что постоянное (или регулярное) обновление сайта прибавляет ему траста, что, в свою очередь, заставляет робота поисковой системы изменять своё расписание обхода сайта и ускоряет его индексацию. Попадание страниц в индекс происходит практически моментально, особенно, если добавить сюда дополнительный действенный способ ускорить индексацию сайта.
Вот, предложенный мною алгоритм для быстрого попадания в индекс:
1. Выделяем на сайте разделы, которые периодически обновляются.
Это могут быть новости, отзывы, статьи или что-либо ещё.
2. Устанавливаем RSS.
Для выбранных разделов . С помощью ленты RSS поисковик может узнать точную дату публикации материала и анализировать вашу активность на сайте.
3.Регистрируемся в FeedBurner.
нужен для того, чтобы придать вашему каналу стандартный вид для разных юзер-агентов. Также этот сервис позволяет посылать пинги в различные поисковые и другие сервисы, уведомляя о добавлении нового контента.
4. Регистрируемся в Twitter.
Если вы ещё не зарегистрированы в , советую это сделать сейчас. Эта социальная сеть дает много возможностей как в плане маркетинга, так и в плане помощи для индексации сайта (см. след. пункт).
5. Настраиваем кросспостинг RSS в Twitter.
С помощью RSS2Twitter или Твиттерфида . Записи из RSS будут автоматически добавляться в ваш твиттер-аккаунт и фолловеры (подписчики) смогут быстро отслеживать обновления на вашем сайте.
Таким образом, как только вы публикуете новый контент на сайте, запись попадает сначала в rss канал, потом в feedburner с пингом крупных поисковых сервисов и далее в Twitter. Поисковики обязательно заметят этот контент и не замедлят добавить его в свой индекс, конечно если он более-менее уникален.
Для подтверждения этих доводов проведен эксперимент. В SEO-словаре, где настроены все вещи, описанные выше, был добавлен новый и каждую минуту отслеживалось движение в индексе Google (индексация сайтов в Яндекс работает чуть по-другому).
Через 3 минуты после добавления определения в словарь запись .
Сразу же была проиндексирована главная страница словаря (повторю, прошло 3 минуты).
Еще через 7 минут добавленная страница появилась в индексе.
Тут баг Google в том, что он написал для сайта «31 минута», хотя на самом деле страница появилась не позже 10 минут назад.
Итого, весь процесс занял максимум 10 минут и сайт встал один из первых по запросу . Подобный способ пойдет даже для сайтов, предлагающих . На больших сайтах, где контент добавляется буквально каждую минуту (новостники и т.д.), страницы в индексе появляются, соответственно, ещё быстрее. Например, попробуйте поэкспериментировать с блог-платформой LiveJournal.
