×
Россия +7 (495) 139-20-33

Методы быстрой индексации сайта

Россия +7 (495) 139-20-33
Шрифт:
17 21846

Возникают моменты, когда по разным причинам сайт очень плохо или долго индексируется. Причин может быть множество, например, самые популярные:

  • Сайт только создали
  • Проблемы с сервером
  • Происходят блокировки некоторых User-agent
  • Некорректно настроено зеркало
  • Санкции от поисковых систем
  • Некорректно настроенный файл robots.txt
  • Некорректно настроенные мета-теги robots
  • Некорректно настроенные мета-теги canonical

Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.

Sitemap.xml

Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.

В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.

Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.

Как проверить индексацию страниц сайта?

Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:

оператор url.png

В поисковой системе Google с помощью оператора info:

оператор info.png

Как автоматизировать данный процесс?

Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:

1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)

2. Вначале каждого URL-адреса страницы добавляем оператор url.

Пример:

2016-05-12_18-41-20.png

Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом: 

2016-05-12_18-42-25.png

3. После этого загружаем весь список страниц с оператором: url в Key Collector:

2016-05-12_18-50-12.png

4. Не забываем про настройку XML для более быстрого парсинга результатов:

2016-05-12_18-47-25.png

5. Запускаем парсинг позиций:

2016-05-12_18-46-36(1).png

 Если документ проиндексирован, то позиция по запросу будет 1.

6. Ждем, когда закончится парсинг:

2016-05-12_18-47-56.png

7. Получаем результаты

2016-05-12_18-50-37.png

При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.

Add URL / Просканировать страницу в Google

Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:

Также можно, добавить сайт в панели вебмастеров:

и увидеть большое количество новой интересной информации по своему сайту.

Внешние ссылки

Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.

Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.

Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.

Дополнительные модули или плагины

Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».

Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.

С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.

Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин): 

2016-05-16_18-13-44.png

Результаты модуля на другом проекте:

2016-05-16_18-10-28.png

Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:

  • Для распределения весов внутри сайта;
  • Для расширения анкор-листа документов;

Также возможно вам пригодится информация по другому модулю, который технически более сложен.

Выводы

Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.

(Голосов: 6, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Я написал что респект не надёжная контора, могу предоставить факты!
    -
    -1
    +
    Ответить
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Можно узнать почему мой комментарий удалён ?
    -
    -1
    +
    Ответить
  • Fuck You Buddy :D
    39
    комментариев
    0
    читателей
    Fuck You Buddy :D
    больше года назад
    Да, в пятницу анонсировали новый инструмент для ускорения индексации ботом (не быстробот, в индекс не попадет).
    бета-версия Вебмастера - вкладка "Инструменты" -> Переобход страниц
    Можно загонять до 10 страниц в сутки, бот пройдет их в течении 3 дней. Попадут они или нет в основной индекс, это уже решение за ботами и алгоритмами.

    В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.
    -
    1
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Fuck You Buddy :D
      больше года назад
      >>В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.

      Эти сервисы загоняют страницы в индекс подозрительными способами. Тут главное не навредить самому сайту и действовать на свой страх и риск.
      -
      6
      +
      Ответить
      • Eduard Kozlov
        18
        комментариев
        0
        читателей
        Eduard Kozlov
        Айрат Рахимзянов
        больше года назад
        Да уж...
        Вместо одной серой схемы вы предлагаете сапоссылки = другая серая схема. Где логика-то?
        -
        -5
        +
        Ответить
        • Айрат Рахимзянов
          0
          комментариев
          0
          читателей
          Айрат Рахимзянов
          Eduard Kozlov
          больше года назад
          Сапоссылки хотя бы можно снять. Логика в этом.
          -
          6
          +
          Ответить
          • Fuck You Buddy :D
            39
            комментариев
            0
            читателей
            Fuck You Buddy :D
            Айрат Рахимзянов
            больше года назад
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я пр...
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я проверял, работает.
            БУМ
            -
            4
            +
            Ответить
  • Алексей Мищенко
    3
    комментария
    0
    читателей
    Алексей Мищенко
    больше года назад
    Кто тестил, как работает?
    так же как Google Bot в Гугл Вебмастере? или еще лучше)))
    -
    1
    +
    Ответить
  • Aberix
    0
    комментариев
    0
    читателей
    Aberix
    больше года назад
    В пятницу на Вебмастерской анонсировали инструмент (в бете Вебмастера), позволяющий быстро добавить и новые, и переиндексировать старые страницы сайта.

    Потестим)
    -
    3
    +
    Ответить
  • Рама
    1
    комментарий
    0
    читателей
    Рама
    больше года назад
    Хорошая статья, спасибо, Айрат
    -
    1
    +
    Ответить
  • Геннадий Хурмин
    2
    комментария
    0
    читателей
    Геннадий Хурмин
    больше года назад
    Вопрос такой, вы говорите что для загона в индекс полезны ссылки с ресурсов, где живут быстроботы. Есть ли какой-нибудь автоматический способ по определению таких ресурсов? Или только вручную просматривать ресурсы?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Да, сайты СМИ или любые крупные порталы, на которых живут быстророботы. Проверить, как быстро индексируется сайт, можно при помощи добавления GET-параметра &how=tm в адресной строке, в поисковой системе Яндекс. Например: yadi.sk/i/6lP2u4zMrvWsP

      Вполне вероятно, ссылки с таких ресурсов, в ссылочных биржах, будут стоить дорого.
      -
      4
      +
      Ответить
    • Vysokoff.ru
      59
      комментариев
      0
      читателей
      Vysokoff.ru
      Геннадий Хурмин
      больше года назад
      Сайты СМИ, которые есть в Яндекс Новостях отличный вариант.
      -
      1
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Кейс: как за 30 дней вывести новый сайт в ТОП выдачи Google
Сергей
2
комментария
0
читателей
Полный профиль
Сергей - Прошёл у Паши курс год назад, пытался продвигать свой сайт portativ.org.ua, но особых продвижений нет. Наверное сео уже умерло??
Специалисты в Рунете заметили глобальную накрутку поведенческих факторов
Дмитрий Кулаевский
1
комментарий
0
читателей
Полный профиль
Дмитрий Кулаевский - кто-нибудь знает как с этим бороться? очень много такого трафа идёт с июля, сайт сильно просел
Как стандартизировать данные семантики с помощью логарифмов
Юлий
1
комментарий
0
читателей
Полный профиль
Юлий - Чем снималась коммерцелизация?
Облако тегов в интернет-магазине: прикладная инструкция по увеличению трафика
Юлия Дмитриева
2
комментария
0
читателей
Полный профиль
Юлия Дмитриева - Согласна с вами, что в любом деле важен индивидуальный подход:)
Платные и бесплатные курсы по SEO и интернет-маркетингу для новичков и опытных специалистов
Алексей Терещенко
1
комментарий
0
читателей
Полный профиль
Алексей Терещенко - Запустил бесплатный марафон для SEO специалистов с нуля в Фейсбуке. Рекомендую начинать совой путь с него и дальше уже определятся, нравится направление или нет. Так же на базе обучающего марафона есть сообщестово в котором все в удобном формате общаются и постигают профессию. Моя миссия - создать сообщество крутых и образованых seo специалистов и поднять качество услуг на высокий уровень. Кому интересно, присоеденяйтесь www.facebook.com/groups/startseofree/
Яндекс возобновил «показательные порки» за накрутку поведенческих факторов
Антон
1
комментарий
0
читателей
Полный профиль
Антон - Никакой не выпал. Кроме клиентского сайта, который проседал из-за скрутки, о чем Я.Поиску сообщали и клиенту тоже. Ноль реакции от поисковика (продолжайте развивать сайт, никаких проблем нет ...). Клиенту надоело и он заказал накрутку у подрядчиков. Мы искренне ждали бана, сообщали об этом клиенту, т.к. мы все таки делаем все остальное для развития. Как итог: с лета полет нормальный. Сайт растет, никаких проблем. Случайно даже стажер палил тех поддержке факт использования накрутки. И ничего. Сайт растет дальше. Если они не могут ничего принять даже после признания факта накрутки, что они могут сделать с жалобами на накрутку конкурентов?! Никогда не одобряли данные методы, но ... похоже ... все работает :)
Михаил Ляшенко (PostMarket): о рынке инфлюенс-маркетинга и рекламе у блогеров
Григорий Романченко
1
комментарий
0
читателей
Полный профиль
Григорий Романченко - Неудивительно, что все хвалят PostMarket, это действительно достойный сервис, недавно стали через них продвигать свой продукт, результаты есть, продажи выросли на 40% и это только начало.
Яндекс тестирует оценки сайта в сниппете
Сергей Демин
8
комментариев
0
читателей
Полный профиль
Сергей Демин - вопрос такой: где получить оценку о сайте? а не об организации
Сколько стоит SEO на фрилансе. Кейсы
Людмила
1
комментарий
0
читателей
Полный профиль
Людмила - Очень спорная статья. Особенно оценка. К примеру, за 1500 руб. 200 вечных ссылок с быстрой индексацией. Это про какой год? Про 2020? Точно? Собственно, в текущих реалиях при хорошем раскладе за эти деньги можно получить 3-4 качественные ссылки. А никак не 200. Если 200, то такие ссылки, по 7,5 руб. за штуку выбьют сайт за ТОП-100. А заказчик будет в шоке, он же все правильно делал, по инструкции из статьи в уважаемом издании.
«Нет в наличии»: что делать с карточками отсутствующего товара
freyr energy
1
комментарий
0
читателей
Полный профиль
freyr energy - Thank you so much @ admin for share your valuable thoughts and ideas We always enjoy your articles its inspired a lot by reading your articles day by day. So please accept my thanks and congrats for success of your latest series. We hope, you should published more better articles like ever before solar rooftop
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
384
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
91
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
60
Комментариев
59
Комментариев
57

Отправьте отзыв!
Отправьте отзыв!