×
Россия +7 (495) 139-20-33

Методы быстрой индексации сайта

Россия +7 (495) 139-20-33
Шрифт:
17 24511
Подпишитесь на нас в Telegram

Возникают моменты, когда по разным причинам сайт очень плохо или долго индексируется. Причин может быть множество, например, самые популярные:

  • Сайт только создали
  • Проблемы с сервером
  • Происходят блокировки некоторых User-agent
  • Некорректно настроено зеркало
  • Санкции от поисковых систем
  • Некорректно настроенный файл robots.txt
  • Некорректно настроенные мета-теги robots
  • Некорректно настроенные мета-теги canonical

Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.

Sitemap.xml

Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.

В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.

Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.

Как проверить индексацию страниц сайта?

Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:

оператор url.png

В поисковой системе Google с помощью оператора info:

оператор info.png

Как автоматизировать данный процесс?

Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:

1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)

2. Вначале каждого URL-адреса страницы добавляем оператор url.

Пример:

2016-05-12_18-41-20.png

Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом: 

2016-05-12_18-42-25.png

3. После этого загружаем весь список страниц с оператором: url в Key Collector:

2016-05-12_18-50-12.png

4. Не забываем про настройку XML для более быстрого парсинга результатов:

2016-05-12_18-47-25.png

5. Запускаем парсинг позиций:

2016-05-12_18-46-36(1).png

 Если документ проиндексирован, то позиция по запросу будет 1.

6. Ждем, когда закончится парсинг:

2016-05-12_18-47-56.png

7. Получаем результаты

2016-05-12_18-50-37.png

При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.

Add URL / Просканировать страницу в Google

Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:

Также можно, добавить сайт в панели вебмастеров:

  • http:\/\/webmaster\.yandex\.ru\/
  • https:\/\/www\.google\.com\/webmasters\/tools\/
  • http:\/\/webmaster\.mail\.ru\/

и увидеть большое количество новой интересной информации по своему сайту.

Внешние ссылки

Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.

Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.

Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.

Дополнительные модули или плагины

Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».

Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.

С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.

Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин): 

2016-05-16_18-13-44.png

Результаты модуля на другом проекте:

2016-05-16_18-10-28.png

Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:

  • Для распределения весов внутри сайта;
  • Для расширения анкор-листа документов;

Также возможно вам пригодится информация по другому модулю, который технически более сложен.

Выводы

Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.

Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772
Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Я написал что респект не надёжная контора, могу предоставить факты!
    -
    0
    +
    Ответить
  • Матросов
    2
    комментария
    0
    читателей
    Матросов
    больше года назад
    Можно узнать почему мой комментарий удалён ?
    -
    -2
    +
    Ответить
  • Fuck You Buddy :D
    39
    комментариев
    0
    читателей
    Fuck You Buddy :D
    больше года назад
    Да, в пятницу анонсировали новый инструмент для ускорения индексации ботом (не быстробот, в индекс не попадет).
    бета-версия Вебмастера - вкладка "Инструменты" -> Переобход страниц
    Можно загонять до 10 страниц в сутки, бот пройдет их в течении 3 дней. Попадут они или нет в основной индекс, это уже решение за ботами и алгоритмами.

    В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.
    -
    1
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Айрат Рахимзянов
      Fuck You Buddy :D
      больше года назад
      >>В дополнении есть сервисы для быстро индексации, которые описывал Арбайтен и которые до сих пор работают.

      Эти сервисы загоняют страницы в индекс подозрительными способами. Тут главное не навредить самому сайту и действовать на свой страх и риск.
      -
      7
      +
      Ответить
      • Eduard Kozlov
        18
        комментариев
        0
        читателей
        Eduard Kozlov
        Айрат Рахимзянов
        больше года назад
        Да уж...
        Вместо одной серой схемы вы предлагаете сапоссылки = другая серая схема. Где логика-то?
        -
        -5
        +
        Ответить
        • Айрат Рахимзянов
          0
          комментариев
          0
          читателей
          Айрат Рахимзянов
          Eduard Kozlov
          больше года назад
          Сапоссылки хотя бы можно снять. Логика в этом.
          -
          7
          +
          Ответить
          • Fuck You Buddy :D
            39
            комментариев
            0
            читателей
            Fuck You Buddy :D
            Айрат Рахимзянов
            больше года назад
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я пр...
            Яндекс знает о том, что некоторым сайтом нужно продавать ссылки, чтобы продолжать быть на плаву. Когда один из контент-проектов у меня попал под фильтр за слишком большое кол-во исходящих ссылок и низкокачественных входящих, я свернул целый пласт СДЛ контента, который писался с душей и был реально полезен - но раз нет трафа и тиц обнулен, зачем он мне?
            Так что сапа имеет место быть, в том числе и для манипуляций с индексацией.
            И да, предлагаю не я, а Арбайтен.
            И да да, я проверял, работает.
            БУМ
            -
            3
            +
            Ответить
  • Алексей Мищенко
    3
    комментария
    0
    читателей
    Алексей Мищенко
    больше года назад
    Кто тестил, как работает?
    так же как Google Bot в Гугл Вебмастере? или еще лучше)))
    -
    1
    +
    Ответить
  • Aberix
    0
    комментариев
    0
    читателей
    Aberix
    больше года назад
    В пятницу на Вебмастерской анонсировали инструмент (в бете Вебмастера), позволяющий быстро добавить и новые, и переиндексировать старые страницы сайта.

    Потестим)
    -
    3
    +
    Ответить
  • Рама
    1
    комментарий
    0
    читателей
    Рама
    больше года назад
    Хорошая статья, спасибо, Айрат
    -
    1
    +
    Ответить
  • Геннадий Хурмин
    2
    комментария
    0
    читателей
    Геннадий Хурмин
    больше года назад
    Вопрос такой, вы говорите что для загона в индекс полезны ссылки с ресурсов, где живут быстроботы. Есть ли какой-нибудь автоматический способ по определению таких ресурсов? Или только вручную просматривать ресурсы?
    -
    0
    +
    Ответить
    • Айрат Рахимзянов
      0
      комментариев
      0
      читателей
      Да, сайты СМИ или любые крупные порталы, на которых живут быстророботы. Проверить, как быстро индексируется сайт, можно при помощи добавления GET-параметра &how=tm в адресной строке, в поисковой системе Яндекс. Например: yadi.sk/i/6lP2u4zMrvWsP

      Вполне вероятно, ссылки с таких ресурсов, в ссылочных биржах, будут стоить дорого.
      -
      4
      +
      Ответить
    • Vysokoff.ru
      59
      комментариев
      0
      читателей
      Vysokoff.ru
      Геннадий Хурмин
      больше года назад
      Сайты СМИ, которые есть в Яндекс Новостях отличный вариант.
      -
      1
      +
      Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Альманах фатальных ошибок b2b-сайта: как владельцы бизнеса обрекают сайты на бесславное существование. Часть первая
Сергей Ерофеев
3
комментария
0
читателей
Полный профиль
Сергей Ерофеев - Спасибо за комментарий! Вы правы, если за CMS следит заинтересованный профессионал - риски минимальны. Но мы же с вами понимаем, что: а) Не каждый разработчик делает все, как "для себя". б) После создания сайта разработчик редко остается на проекте в) Часто разработчик не является маркетологом. В этом случае принцип "функционал работает и этого достаточно" может быть на первом месте. Мы тоже видели большое количество хороших и качественных проектов на бесплатных CMS, но проблемных проектов мы видели сильно больше. Просто статистика.
Белые и серые методы продвижения. Тренды 2023
sarges
2
комментария
0
читателей
Полный профиль
sarges - Нужно учитывать и тот факт, что со временем методы продвижения меняются и необходимо подстраиваться под новые реалии. Посоветую заглянуть на zenlink.ru/blog/kak-izmenilsja-internet-marketing-za-10-let и почитать статью, там рассказывается о том, как изменился интернет-маркетинг за последние 10 лет, какие сейчас тенденции и какие прогнозы в этой сфере.
Почему сайтам нужно переезжать с конструкторов на полноценные CMS
Seodm.ru
3
комментария
0
читателей
Полный профиль
Seodm.ru - Ааа по мне, сам seo специалист, вероятность внедрения необходимого контента на тильда того же блока этапом работы или преимуществ, намного выше чем на движке. А что тильда что движок малый бизнес норм продвигается особо супер разработки не требуется
Как автоматизировать мессенджеры для бизнеса в CRM-системе
Алиналина
1
комментарий
0
читателей
Полный профиль
Алиналина - Кстати да. Но мы зарегались, CRMка реально интересная
Как мы увеличили для клиента трафик из поиска в 7 раз. Кейс
Кирилл Половников
2
комментария
0
читателей
Полный профиль
Кирилл Половников - Оба этих статуса (редирект и малополезная) преобладали в качестве проблем с индексацией. Помогла работа с .htaccess (в нем были ошибки и его чистили), работа над корректировкой редиректов, каноникалами и прочими техническими ошибками. Нельзя сказать, что только редиректы были ключевым препятствием.
Как показывать рекламу посетителям сайтов конкурентов
Павел
2
комментария
0
читателей
Полный профиль
Павел - Спасибо за комментарий. Гипотеза была в том, что с указанными счетчиками конкурентов показы будут не просто похожей аудитории их сайтов (как при рекламе по доменам), а именно на аудиторию которую Яндекс для себя разметил как целевая дл сайтов конкурентов. Важно, это гипотеза. А про белые нитки, как говорится, доверяй, но проверяй))
Кейс MediaNation: увеличили еженедельный трафик автомобильной компании на 50% за год и вышли в топ поиска по 300 запросам
Игорь Скляр
1
комментарий
0
читателей
Полный профиль
Игорь Скляр - Действительно, изначально рост был именно по информационным запросам. Но рост позиций и трафика по информационным запросам положительно повлиял и на связанные позиции по коммерческим запросам и сдвинул видимость с мёртвой точки
Чек-лист: как настроить рекламу в Яндекс Директе и избежать ошибок
Сергей Ильин
2
комментария
0
читателей
Полный профиль
Сергей Ильин - я ваще не туда написал
Как дожать сайт до ТОПа? Выжимаем весь сок из SEO под Яндекс и Google
Фанит
2
комментария
0
читателей
Полный профиль
Фанит - Спасибо автору за статью, полезно! По поводу сниппета сайта, для увеличения CTR можно дополнительно внедрить основные схемы микроразметки и улучшить его, чтобы выделялся на фоне конкурентов, особенно заметно в Google.
Можно ли продвигать сайт спонсорскими ссылками: разбор кейса
Александр
1
комментарий
0
читателей
Полный профиль
Александр - Хм.... ооочень сомнительный результат. За 10 000 в месяц получить 1 запрос в топ10, да ещё и в google, который на ссылки всегда лучше Яндекса реагировал - такое себе.... При этом достаточно странно были отобраны запросы с местами за ТОП50. Ведь давно известно же, что ссылки так быстро не сработают, к тому же за такое короткое время максимально, на что можно рассчитывать - это небольшое повышение средней. Поэтому тут логично было бы подобрать запросы, либо те, которые находятся близко к ТОП10, например на 11-15 местах, и посмотреть на их динамику. Либо на запросы, которые уже в топ10 находятся (5-10 места). Ведь после отключения контекста CTR в google кратно вырос и, например, разница 1 и 2-х местах отличается почти в два раза! Поэтому, если бы ссылки сработали на рост позиций с 5-10 мест, на 1-4 - это был бы кратный толк как в росте трафика, так и с точки зрения отдачи от вложений. Тем более как раз подвижки в 2-3 позиции уже дали бы ощутимый результат (если это, конечно не НЧ и микроНЧ запросы).... Так что считаю, эксперимент изначально был провальным уже на этапе отбора запросов.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
116
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!