×
Россия +7 (495) 139-20-33

Методы быстрой индексации сайта

Россия +7 (495) 139-20-33
Шрифт:
17 22617

Возникают моменты, когда по разным причинам сайт очень плохо или долго индексируется. Причин может быть множество, например, самые популярные:

  • Сайт только создали
  • Проблемы с сервером
  • Происходят блокировки некоторых User-agent
  • Некорректно настроено зеркало
  • Санкции от поисковых систем
  • Некорректно настроенный файл robots.txt
  • Некорректно настроенные мета-теги robots
  • Некорректно настроенные мета-теги canonical

Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.

Sitemap.xml

Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.

В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.

Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.

Как проверить индексацию страниц сайта?

Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:

оператор url.png

В поисковой системе Google с помощью оператора info:

оператор info.png

Как автоматизировать данный процесс?

Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:

1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)

2. Вначале каждого URL-адреса страницы добавляем оператор url.

Пример:

2016-05-12_18-41-20.png

Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом: 

2016-05-12_18-42-25.png

3. После этого загружаем весь список страниц с оператором: url в Key Collector:

2016-05-12_18-50-12.png

4. Не забываем про настройку XML для более быстрого парсинга результатов:

2016-05-12_18-47-25.png

5. Запускаем парсинг позиций:

 Если документ проиндексирован, то позиция по запросу будет 1.

6. Ждем, когда закончится парсинг:

7. Получаем результаты

2016-05-12_18-50-37.png

При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.

Add URL / Просканировать страницу в Google

Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:

Также можно, добавить сайт в панели вебмастеров:

  • http:\/\/webmaster\.yandex\.ru\/
  • https:\/\/www\.google\.com\/webmasters\/tools\/
  • http:\/\/webmaster\.mail\.ru\/

и увидеть большое количество новой интересной информации по своему сайту.

Внешние ссылки

Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.

Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.

Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.

Дополнительные модули или плагины

Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».

Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.

С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.

Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин): 

2016-05-16_18-13-44.png

Результаты модуля на другом проекте:

2016-05-16_18-10-28.png

Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:

  • Для распределения весов внутри сайта;
  • Для расширения анкор-листа документов;

Также возможно вам пригодится информация по другому модулю, который технически более сложен.

Выводы

Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.

(Голосов: 6, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Я написал что респект не надёжная контора, могу предоставить факты!
    -
    0
    +
    Ответить
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Можно узнать почему мой комментарий удалён ?
    -
    -2
    +
    Ответить
  • Fuck You Buddy :D
    39
    комментариев
    0
    читателей
    Fuck You Buddy :D
    больше года назад
    Да, в пятницу анонсировали новый инструмент для ускорения индексации ботом (не быстробот, в индекс не попадет).
    бета-версия Вебмастера - вкладка "Инструменты" -> Переобход страниц
    Можно загонять до 10 страниц в сутки, бот пройдет их в течении 3 дней. Попадут они или нет в основной индекс, это уже решение за ботами и алгоритмами.

    В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.
    -
    1
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Fuck You Buddy :D
      больше года назад
      >>В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.

      Эти сервисы загоняют страницы в индекс подозрительными способами. Тут главное не навредить самому сайту и действовать на свой страх и риск.
      -
      7
      +
      Ответить
      • Eduard Kozlov
        18
        комментариев
        0
        читателей
        Eduard Kozlov
        Айрат Рахимзянов
        больше года назад
        Да уж...
        Вместо одной серой схемы вы предлагаете сапоссылки = другая серая схема. Где логика-то?
        -
        -5
        +
        Ответить
        • Айрат Рахимзянов
          0
          комментариев
          0
          читателей
          Айрат Рахимзянов
          Eduard Kozlov
          больше года назад
          Сапоссылки хотя бы можно снять. Логика в этом.
          -
          7
          +
          Ответить
          • Fuck You Buddy :D
            39
            комментариев
            0
            читателей
            Fuck You Buddy :D
            Айрат Рахимзянов
            больше года назад
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я пр...
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я проверял, работает.
            БУМ
            -
            3
            +
            Ответить
  • Алексей Мищенко
    3
    комментария
    0
    читателей
    Алексей Мищенко
    больше года назад
    Кто тестил, как работает?
    так же как Google Bot в Гугл Вебмастере? или еще лучше)))
    -
    1
    +
    Ответить
  • Aberix
    0
    комментариев
    0
    читателей
    Aberix
    больше года назад
    В пятницу на Вебмастерской анонсировали инструмент (в бете Вебмастера), позволяющий быстро добавить и новые, и переиндексировать старые страницы сайта.

    Потестим)
    -
    3
    +
    Ответить
  • Рама
    1
    комментарий
    0
    читателей
    Рама
    больше года назад
    Хорошая статья, спасибо, Айрат
    -
    1
    +
    Ответить
  • Геннадий Хурмин
    2
    комментария
    0
    читателей
    Геннадий Хурмин
    больше года назад
    Вопрос такой, вы говорите что для загона в индекс полезны ссылки с ресурсов, где живут быстроботы. Есть ли какой-нибудь автоматический способ по определению таких ресурсов? Или только вручную просматривать ресурсы?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Да, сайты СМИ или любые крупные порталы, на которых живут быстророботы. Проверить, как быстро индексируется сайт, можно при помощи добавления GET-параметра &how=tm в адресной строке, в поисковой системе Яндекс. Например: yadi.sk/i/6lP2u4zMrvWsP

      Вполне вероятно, ссылки с таких ресурсов, в ссылочных биржах, будут стоить дорого.
      -
      4
      +
      Ответить
    • Vysokoff.ru
      59
      комментариев
      0
      читателей
      Vysokoff.ru
      Геннадий Хурмин
      больше года назад
      Сайты СМИ, которые есть в Яндекс Новостях отличный вариант.
      -
      1
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Алгоритм продвижения сайта через Pinterest
Виктор Гаврюков
29
комментариев
1
читатель
Полный профиль
Виктор Гаврюков - В самом вверху есть ссылка на мою группу в ВК, там где автор материала. Через группу и свяжитесь со мной_)
Как забрать 5 мест в выдаче из 10. Кейс-эксперимент
Виктор Гаврюков
29
комментариев
1
читатель
Полный профиль
Виктор Гаврюков - такое можно делать и с ВЧ_)
Ссылочный апдейт Google: что изменится для SEO-специалистов в рунете
Тимур
6
комментариев
0
читателей
Полный профиль
Тимур - Понял, спасибо за информацию.
Как продвинуть сайт по коммерческим запросам в ТОП-10 с помощью ресурса Reddit
Denis Zar
2
комментария
0
читателей
Полный профиль
Denis Zar - пользовались услугами по продвижению на реддит от reddit-marketing.pro?
3 основные ошибки, которые допускают владельцы сайтов при продвижении
Виктор Гаврюков
29
комментариев
1
читатель
Полный профиль
Виктор Гаврюков - Не обращай внимания_) Если у тебя хороший ресурс, то ты будешь первоисточником, и все кто своровал, автоматически начнут на тебя ссылаться, точнее, так гугл будет считать_)
Как мы увеличили трафик из Яндекса более чем в 3 раза за неделю на сайте клиники. Кейс
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - У большинства сайтов произошел рост в Гугле в декабре и в марте Яндекса. Ваши шаманства тут не причём :)
Зарабатываем с помощью текстов: как создать уникальный контент и монетизировать сайт
dotaidi
94
комментария
0
читателей
Полный профиль
dotaidi - Какой-то нейро-физиологический подход к теме создания контента: 1. " ..чтобы контент отвечал интересам аудитории, закрывал ее боли и потербности". Закрыть боль аудитории? Это как понимать, текст что должен выполнять функцию анестезии? Зачем падать в медицинские категории, это ведь профессиональный текст о SEO, а не триллер и не художественная литература, где метафоры уместны. 2. "Главное — чтобы процесс сбора информации вас увлекал и нравился, ведь эта работа требует усилий". Построение тезиса предполагает, что если работа не нравится, то и усилий она не требует. И вообще, упор в работе на главное значение "нравится" — очень спорное и тоже из области НЛП-игрушек. Стилистика статьи тоже желает более продуманного подхода к использованию словосочетаний специфической терминологии: "вы можеет создавать материалы в коллаборации с известными брендами, релевантными тематике вашего сайта". Бренд не может быть релевантным из-за того, что это целый комплекс явлений, собранный под некоторой узнаваемой семантической или графической символикой. Релевантность — качество, свидетельствующее о совпадении запроса(желания) и выдачи (полученной информации). Это нужно хотеть бренд, чтобы он стал релевантным. Аналогия и релевантность не синонимы. "прикладывайте усилия в сбор и обработку информации" и многие подобные обороты делают статью не просто нерелевантной, но просто безграмотной.
Как доработка структуры вывела сайт в ТОП-10 Google и увеличила трафик в 2 раза. Кейс Связной Трэвел
Дмитрий
3
комментария
0
читателей
Полный профиль
Дмитрий - Вероятнее всего было обновление Google и позиции были снижены в связи с низкой скоростью загрузки страниц (так как доработке ведутся не только по SEO, но и в целом по функционалу сайта, появляются новые скрипты). В этот период в Google Search Console увеличилось количество страниц с низкой скоростью загрузки. Мы выявили несколько проблем, которые снижают скорость загрузки страниц и выдали рекомендации по их устранению. Пока данные рекомендации находятся в работе. Также был проведен анализ EAT факторов и проверка сайта на соответствие требованиям Google к YMYL сайта, выданы рекомендации по доработке данных факторов (ждем внедрения наших рекомендаций, поделимся потом результатами).
Рост ботных переходов на сайт: как интерпретировать и что делать
Mike
5
комментариев
0
читателей
Полный профиль
Mike - как это проверить? что товары выводится именно на основе спроса, а не по заданным алгоритмам?
Сравнительная статистика уровня жизни SEO-специалистов в семи странах, включая Россию
Рустам
1
комментарий
0
читателей
Полный профиль
Рустам - Средняя температура по больнице, подсчет даже близко не отображает действительность, особенно учитывая разность цен и уровня зп в разных частях больших стран (США, Канада, Россия)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
114
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
94
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
62
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!