Рекламные кампании для вашего бизнеса
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

Методы быстрой индексации сайта

Россия +7 (495) 960-65-87
Шрифт:
17 12353

Возникают моменты, когда по разным причинам сайт очень плохо или долго индексируется. Причин может быть множество, например, самые популярные:

  • Сайт только создали
  • Проблемы с сервером
  • Происходят блокировки некоторых User-agent
  • Некорректно настроено зеркало
  • Санкции от поисковых систем
  • Некорректно настроенный файл robots.txt
  • Некорректно настроенные мета-теги robots
  • Некорректно настроенные мета-теги canonical

Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.

Sitemap.xml

Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.

В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.

Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.

Как проверить индексацию страниц сайта?

Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:

оператор url.png

В поисковой системе Google с помощью оператора info:

оператор info.png

Как автоматизировать данный процесс?

Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:

1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)

2. Вначале каждого URL-адреса страницы добавляем оператор url.

Пример:

2016-05-12_18-41-20.png

Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом: 

2016-05-12_18-42-25.png

3. После этого загружаем весь список страниц с оператором: url в Key Collector:

2016-05-12_18-50-12.png

4. Не забываем про настройку XML для более быстрого парсинга результатов:

2016-05-12_18-47-25.png

5. Запускаем парсинг позиций:

2016-05-12_18-46-36(1).png

 Если документ проиндексирован, то позиция по запросу будет 1.

6. Ждем, когда закончится парсинг:

2016-05-12_18-47-56.png

7. Получаем результаты

2016-05-12_18-50-37.png

При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.

Add URL / Просканировать страницу в Google

Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:

Также можно, добавить сайт в панели вебмастеров:

и увидеть большое количество новой интересной информации по своему сайту.

Внешние ссылки

Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.

Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.

Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.

Дополнительные модули или плагины

Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».

Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.

С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.

Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин): 

2016-05-16_18-13-44.png

Результаты модуля на другом проекте:

2016-05-16_18-10-28.png

Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:

  • Для распределения весов внутри сайта;
  • Для расширения анкор-листа документов;

Также возможно вам пригодится информация по другому модулю, который технически более сложен.

Выводы

Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.

internet-dlya-biznesa

Есть о чем рассказать? Тогда присылайте свои материалы в редакцию.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
Отправить отзыв
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    6 месяцев назад
    Я написал что респект не надёжная контора, могу предоставить факты!
    -
    -1
    +
    Ответить
    Поделиться
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    6 месяцев назад
    Можно узнать почему мой комментарий удалён ?
    -
    -1
    +
    Ответить
    Поделиться
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    6 месяцев назад
    Комментарий был удален модератором
    -
    -8
    +
    Ответить
    Поделиться
  • Fuck You Buddy :D
    33
    комментария
    0
    читателей
    Fuck You Buddy :D
    6 месяцев назад
    Да, в пятницу анонсировали новый инструмент для ускорения индексации ботом (не быстробот, в индекс не попадет).
    бета-версия Вебмастера - вкладка "Инструменты" -> Переобход страниц
    Можно загонять до 10 страниц в сутки, бот пройдет их в течении 3 дней. Попадут они или нет в основной индекс, это уже решение за ботами и алгоритмами.

    В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.
    -
    1
    +
    Ответить
    Поделиться
    • Айрат Рахимзянов
      22
      комментария
      0
      читателей
      >>В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.

      Эти сервисы загоняют страницы в индекс подозрительными способами. Тут главное не навредить самому сайту и действовать на свой страх и риск.
      -
      5
      +
      Ответить
      Поделиться
      • Eduard Kozlov
        18
        комментариев
        0
        читателей
        Eduard Kozlov
        Айрат Рахимзянов
        6 месяцев назад
        Да уж...
        Вместо одной серой схемы вы предлагаете сапоссылки = другая серая схема. Где логика-то?
        -
        -4
        +
        Ответить
        Поделиться
        • Айрат Рахимзянов
          22
          комментария
          0
          читателей
          Айрат Рахимзянов
          Eduard Kozlov
          6 месяцев назад
          Сапоссылки хотя бы можно снять. Логика в этом.
          -
          4
          +
          Ответить
          Поделиться
          • Fuck You Buddy :D
            33
            комментария
            0
            читателей
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я пр...
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я проверял, работает.
            БУМ
            -
            4
            +
            Ответить
            Поделиться
  • Алексей Мищенко
    3
    комментария
    0
    читателей
    Алексей Мищенко
    6 месяцев назад
    Кто тестил, как работает?
    так же как Google Bot в Гугл Вебмастере? или еще лучше)))
    -
    1
    +
    Ответить
    Поделиться
    • Айрат Рахимзянов
      22
      комментария
      0
      читателей
      По скорости индексации новой страницы Яндекс не сравнится с Гуглом. :) Скорость переиндексации пока не потестили.
      -
      2
      +
      Ответить
      Поделиться
  • Aberix
    0
    комментариев
    0
    читателей
    Aberix
    6 месяцев назад
    В пятницу на Вебмастерской анонсировали инструмент (в бете Вебмастера), позволяющий быстро добавить и новые, и переиндексировать старые страницы сайта.

    Потестим)
    -
    3
    +
    Ответить
    Поделиться
  • Рама
    1
    комментарий
    0
    читателей
    Рама
    6 месяцев назад
    Хорошая статья, спасибо, Айрат
    -
    1
    +
    Ответить
    Поделиться
  • Геннадий Хурмин
    2
    комментария
    0
    читателей
    Геннадий Хурмин
    6 месяцев назад
    Вопрос такой, вы говорите что для загона в индекс полезны ссылки с ресурсов, где живут быстроботы. Есть ли какой-нибудь автоматический способ по определению таких ресурсов? Или только вручную просматривать ресурсы?
    -
    0
    +
    Ответить
    Поделиться
    • Айрат Рахимзянов
      22
      комментария
      0
      читателей
      Да, сайты СМИ или любые крупные порталы, на которых живут быстророботы. Проверить, как быстро индексируется сайт, можно при помощи добавления GET-параметра &how=tm в адресной строке, в поисковой системе Яндекс. Например: yadi.sk/i/6lP2u4zMrvWsP

      Вполне вероятно, ссылки с таких ресурсов, в ссылочных биржах, будут стоить дорого.
      -
      3
      +
      Ответить
      Поделиться
    • Vysokoff.ru
      49
      комментариев
      0
      читателей
      Vysokoff.ru
      Геннадий Хурмин
      6 месяцев назад
      Сайты СМИ, которые есть в Яндекс Новостях отличный вариант.
      -
      1
      +
      Ответить
      Поделиться
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
23 действительно эффективных совета по продвижению интернет-магазина
Гость - Троль Гуру паНгинации - Что такое паНгинация?))))
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2016»
Марина
1
комментарий
0
читателей
Полный профиль
Марина - Ingate i-Media SEO.RU Netpeak 1PS.RU
Анализ ссылок: сравнение многофункциональных платформ по размеру их баз
Михаил - Хватит пениться на каждый аргументированный отзыв. Это не придает вашей компании чести.
Как создать интернет-магазин: сколько стоит открытие?
Гость - да у битрикса что ни обновление - то сплошные баги. недавно знакомый обновился на лицензии интернет-магазина, про***лись заказы за последнюю неделю, слетели все связи по складам. одним словом, жопа. при этом обновился на сразу, а спустя месяц после выкатывания, надеялся, успеют все поправить
Как упростить продвижение вечными ссылками?
Coursh - Зарегестрировался. Накинули 1100 рубликов за пополнение на 10к. Очень неплохо!
Вопрос недели: почему сайт хорошо ранжируется в Google и не интересует Яндекс?
Nina S.Dzh. - У вас достаточно конкурентная тематика для рунета и по главной странице домена расположена англоязычная версия. Полагаю, в этих двух фактах вся проблема. Поскольку Яндекс в данном случае считает английскую версию сайта приоритетной, а среди ваших конкурентов в выдаче достаточно много хороших русскоязычных сайтов, то он и не ранжирует ваш сайт высоко. Грубо говоря, ему есть что предложить пользователю и без вашего сайта. На мой взгляд, в данном случае версии нужно разводить по разным доменам, русскую вешать на RU и продвигать там.
Кому и зачем нужен маркетплейс от Яндекса
Дарья Калинская
203
комментария
0
читателей
Полный профиль
Дарья Калинская - Максим, спасибо, рада, что статья оказалась полезной )
Конкурс: угадай победителя рейтинга «Известность бренда SEO-компаний»
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Оптимизм Дэмис Кокос Ашманов и Партнеры Раш эдженси
ТОП-10 автоматизированных сервисов контекстной рекламы
Жанна Рожкова
155
комментариев
0
читателей
Полный профиль
Жанна Рожкова - Научитесь отличать рекламу от PR-активности. Если следовать вашей логике, на этом сайте (и на всех остальных информационных ресурсах в принципе) кроме рекламы ничего и нет. Так что насчет статьи от понимающего эксперта? Будем рады, если подготовите
Экспериментальное SEO: «Дырявые носочки панды»
Adrian - Испания и Португалия находятся в Европе и участвовали в чемпионате Европы. Одна из этих стран даже стала победителем. А Южная и Центральная Америка здесь при том, что там разговаривают на испанском и португальском языках. Сына, учите географию.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
285
Комментариев
262
Комментариев
203
Комментариев
171
Комментариев
155
Комментариев
137
Комментариев
123
Комментариев
97
Комментариев
97
Комментариев
93
Комментариев
80
Комментариев
70
Комментариев
67
Комментариев
60
Комментариев
55
Комментариев
52
Комментариев
49
Комментариев
45
Комментариев
44

Отправьте отзыв!
Отправьте отзыв!