Методы быстрой индексации сайта

Россия+7 (495) 960-65-87
Шрифт:
17 17960

Возникают моменты, когда по разным причинам сайт очень плохо или долго индексируется. Причин может быть множество, например, самые популярные:

  • Сайт только создали
  • Проблемы с сервером
  • Происходят блокировки некоторых User-agent
  • Некорректно настроено зеркало
  • Санкции от поисковых систем
  • Некорректно настроенный файл robots.txt
  • Некорректно настроенные мета-теги robots
  • Некорректно настроенные мета-теги canonical

Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.

Sitemap.xml

Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.

В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.

Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.

Как проверить индексацию страниц сайта?

Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:

оператор url.png

В поисковой системе Google с помощью оператора info:

оператор info.png

Как автоматизировать данный процесс?

Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:

1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)

2. Вначале каждого URL-адреса страницы добавляем оператор url.

Пример:

2016-05-12_18-41-20.png

Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом: 

2016-05-12_18-42-25.png

3. После этого загружаем весь список страниц с оператором: url в Key Collector:

2016-05-12_18-50-12.png

4. Не забываем про настройку XML для более быстрого парсинга результатов:

2016-05-12_18-47-25.png

5. Запускаем парсинг позиций:

 Если документ проиндексирован, то позиция по запросу будет 1.

6. Ждем, когда закончится парсинг:

7. Получаем результаты

2016-05-12_18-50-37.png

При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.

Add URL / Просканировать страницу в Google

Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:

Также можно, добавить сайт в панели вебмастеров:

и увидеть большое количество новой интересной информации по своему сайту.

Внешние ссылки

Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.

Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.

Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.

Дополнительные модули или плагины

Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».

Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.

С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.

Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин): 

2016-05-16_18-13-44.png

Результаты модуля на другом проекте:

2016-05-16_18-10-28.png

Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:

  • Для распределения весов внутри сайта;
  • Для расширения анкор-листа документов;

Также возможно вам пригодится информация по другому модулю, который технически более сложен.

Выводы

Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.

(Нет голосов)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Я написал что респект не надёжная контора, могу предоставить факты!
    -
    -1
    +
    Ответить
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Можно узнать почему мой комментарий удалён ?
    -
    -1
    +
    Ответить
  • Fuck You Buddy :D
    39
    комментариев
    0
    читателей
    Fuck You Buddy :D
    больше года назад
    Да, в пятницу анонсировали новый инструмент для ускорения индексации ботом (не быстробот, в индекс не попадет).
    бета-версия Вебмастера - вкладка "Инструменты" -> Переобход страниц
    Можно загонять до 10 страниц в сутки, бот пройдет их в течении 3 дней. Попадут они или нет в основной индекс, это уже решение за ботами и алгоритмами.

    В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.
    -
    1
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Fuck You Buddy :D
      больше года назад
      >>В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.

      Эти сервисы загоняют страницы в индекс подозрительными способами. Тут главное не навредить самому сайту и действовать на свой страх и риск.
      -
      5
      +
      Ответить
      • Eduard Kozlov
        18
        комментариев
        0
        читателей
        Eduard Kozlov
        Айрат Рахимзянов
        больше года назад
        Да уж...
        Вместо одной серой схемы вы предлагаете сапоссылки = другая серая схема. Где логика-то?
        -
        -5
        +
        Ответить
        • Айрат Рахимзянов
          0
          комментариев
          0
          читателей
          Айрат Рахимзянов
          Eduard Kozlov
          больше года назад
          Сапоссылки хотя бы можно снять. Логика в этом.
          -
          5
          +
          Ответить
          • Fuck You Buddy :D
            39
            комментариев
            0
            читателей
            Fuck You Buddy :D
            Айрат Рахимзянов
            больше года назад
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я пр...
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я проверял, работает.
            БУМ
            -
            4
            +
            Ответить
  • Алексей Мищенко
    3
    комментария
    0
    читателей
    Алексей Мищенко
    больше года назад
    Кто тестил, как работает?
    так же как Google Bot в Гугл Вебмастере? или еще лучше)))
    -
    1
    +
    Ответить
  • Aberix
    0
    комментариев
    0
    читателей
    Aberix
    больше года назад
    В пятницу на Вебмастерской анонсировали инструмент (в бете Вебмастера), позволяющий быстро добавить и новые, и переиндексировать старые страницы сайта.

    Потестим)
    -
    3
    +
    Ответить
  • Рама
    1
    комментарий
    0
    читателей
    Рама
    больше года назад
    Хорошая статья, спасибо, Айрат
    -
    1
    +
    Ответить
  • Геннадий Хурмин
    2
    комментария
    0
    читателей
    Геннадий Хурмин
    больше года назад
    Вопрос такой, вы говорите что для загона в индекс полезны ссылки с ресурсов, где живут быстроботы. Есть ли какой-нибудь автоматический способ по определению таких ресурсов? Или только вручную просматривать ресурсы?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Да, сайты СМИ или любые крупные порталы, на которых живут быстророботы. Проверить, как быстро индексируется сайт, можно при помощи добавления GET-параметра &how=tm в адресной строке, в поисковой системе Яндекс. Например: yadi.sk/i/6lP2u4zMrvWsP

      Вполне вероятно, ссылки с таких ресурсов, в ссылочных биржах, будут стоить дорого.
      -
      3
      +
      Ответить
    • Vysokoff.ru
      59
      комментариев
      0
      читателей
      Vysokoff.ru
      Геннадий Хурмин
      больше года назад
      Сайты СМИ, которые есть в Яндекс Новостях отличный вариант.
      -
      1
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Рейтинг Известности 2018: старт народного голосования
Михаил Р
1
комментарий
0
читателей
Полный профиль
Михаил Р - 1. Demis 2. кокс 3. Ашманов 4. Скобеев 5. Digital Strategy
Тест: Кто как пробежал, или Итоги клиентского рейтинга SEOnews 2018
Анна Макарова
338
комментариев
0
читателей
Полный профиль
Анна Макарова - Друзья, спасибо всем за участие! Мы определили победителей. Кто ими стал - вы найдете по ссылке: www.seonews.ru/events/darim-knigi-ot-mif-pobediteli-opredeleny/ Если вы стали одним из победителей, обязательно свяжитесь с нами по указанной в новости (по ссылке выше) почте. Всем хороших выходных! =)
SEO глазами клиентов 2018
Артур Якушев
1
комментарий
0
читателей
Полный профиль
Артур Якушев - >сейчас же сложно найти агентства, которые специализируются только на SEO Не так и сложно найти нас www.msk.lapkinlab.ru
Рейтинг Известности 2018: второй этап народного голосования
Константин Сокол
3
комментария
0
читателей
Полный профиль
Константин Сокол - Кто был ответственный за дизайн таблицы голосования? Копирайтер?
Комплексный аудит интернет-магазина от «Ашманов и партнеры». Часть 1
Александр Сова
1
комментарий
0
читателей
Полный профиль
Александр Сова - А вот и сеошники подъехали, покидать на вентилятор :D
Кейс: вывод лендинга по изготовлению флагов на заказ в ТОП 1 по Санкт-Петербургу
utka21
4
комментария
0
читателей
Полный профиль
utka21 - Кейс как кейс. Для некоторых станет вполне возможно полезным. ( Для конкурентов точно) . А вот с комментариями , что то пошло не так )
Не очень удачный кейс продвижения сайта по услуге «Трезвый водитель» в Москве
Кирилл Щербаков
3
комментария
0
читателей
Полный профиль
Кирилл Щербаков - "даже пришлось подключить отслеживание звонков с сайта" "Даже" - как будто это что-то нереальное
Как использовать Python для LSI-копирайтинга
Evgeny Montana
6
комментариев
0
читателей
Полный профиль
Evgeny Montana - спасибо)
Стартовал сбор заявок на участие в рейтинге «Известность бренда SEO-компаний 2018»
Артем Первухин
1
комментарий
0
читателей
Полный профиль
Артем Первухин - Make KINETICA Great Again!
Эксперимент: как уникальность контента влияет на продвижение сайта
Ilia Nazmutdinov
2
комментария
0
читателей
Полный профиль
Ilia Nazmutdinov - Кстати, ПФ не работают на нулевом трафике. Пока на сайт не льются тысячи показов по одним и тем же запросам влияние оказывает ток ссылочное\внешнее и внутреннее\ и внутренняя оптимизация.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
338
Комментариев
262
Комментариев
241
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
67
Комментариев
61
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55
Комментариев
54

Отправьте отзыв!
Отправьте отзыв!