Методы быстрой индексации сайта
- Сайт только создали
- Проблемы с сервером
- Происходят блокировки некоторых User-agent
- Некорректно настроено зеркало
- Санкции от поисковых систем
- Некорректно настроенный файл robots.txt
- Некорректно настроенные мета-теги robots
- Некорректно настроенные мета-теги canonical
Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.
Sitemap.xml
Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.
В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.
Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.
Как проверить индексацию страниц сайта?
Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:
В поисковой системе Google с помощью оператора info:
Как автоматизировать данный процесс?
Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:
1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)
2. Вначале каждого URL-адреса страницы добавляем оператор url.
Пример:
Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом:
3. После этого загружаем весь список страниц с оператором: url в Key Collector:
4. Не забываем про настройку XML для более быстрого парсинга результатов:
5. Запускаем парсинг позиций:
Если документ проиндексирован, то позиция по запросу будет 1.
6. Ждем, когда закончится парсинг:
7. Получаем результаты
При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.
Add URL / Просканировать страницу в Google
Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:
- https:\/\/www\.google\.com\/webmasters\/tools\/submit-url
- https://webmaster.yandex.ru/addurl.xml
Также можно, добавить сайт в панели вебмастеров:
- http:\/\/webmaster\.yandex\.ru\/
- https:\/\/www\.google\.com\/webmasters\/tools\/
- http:\/\/webmaster\.mail\.ru\/
и увидеть большое количество новой интересной информации по своему сайту.
Внешние ссылки
Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.
Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.
Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.
Дополнительные модули или плагины
Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».
Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.
С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.
Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин):
Результаты модуля на другом проекте:
Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:
- Для распределения весов внутри сайта;
- Для расширения анкор-листа документов;
Также возможно вам пригодится информация по другому модулю, который технически более сложен.
Выводы
Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.
|
Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772 Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом. |
|
Подписывайся!
ВКонтакте
Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой
-
-
Здравсвуйте, Матросов.
Предоставьте их, пожалуйста, мне на почту ilya@reaspekt.ru
Я с удовольствием разберусь в вашей ситуации.
-
-
Fuck You Buddy :D больше года назадДа, в пятницу анонсировали новый инструмент для ускорения индексации ботом (не быстробот, в индекс не попадет).
бета-версия Вебмастера - вкладка "Инструменты" -> Переобход страниц
Можно загонять до 10 страниц в сутки, бот пройдет их в течении 3 дней. Попадут они или нет в основной индекс, это уже решение за ботами и алгоритмами.
В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.-
>>В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.
Эти сервисы загоняют страницы в индекс подозрительными способами. Тут главное не навредить самому сайту и действовать на свой страх и риск.-
Да уж...
Вместо одной серой схемы вы предлагаете сапоссылки = другая серая схема. Где логика-то?-
-
Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
И да, предлагаю не я, а Арбайтен.
И да да, я пр...Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
И да, предлагаю не я, а Арбайтен.
И да да, я проверял, работает.
БУМ
-
-
-
-
-
Алексей Мищенко больше года назадКто тестил, как работает?
так же как Google Bot в Гугл Вебмастере? или еще лучше))) -
Aberix больше года назадВ пятницу на Вебмастерской анонсировали инструмент (в бете Вебмастера), позволяющий быстро добавить и новые, и переиндексировать старые страницы сайта.
Потестим) -
Геннадий Хурмин больше года назадВопрос такой, вы говорите что для загона в индекс полезны ссылки с ресурсов, где живут быстроботы. Есть ли какой-нибудь автоматический способ по определению таких ресурсов? Или только вручную просматривать ресурсы?-
Да, сайты СМИ или любые крупные порталы, на которых живут быстророботы. Проверить, как быстро индексируется сайт, можно при помощи добавления GET-параметра &how=tm в адресной строке, в поисковой системе Яндекс. Например: yadi.sk/i/6lP2u4zMrvWsP
Вполне вероятно, ссылки с таких ресурсов, в ссылочных биржах, будут стоить дорого.
-
