×

Как быстро проверить индексацию страниц в Яндексе и Google

Россия +7 (495) 139-20-33
Шрифт:
0 7058

Поисковики зачастую индексируют не все страницы сайта или, наоборот, заносят в индекс нежелательные. В результате сложно найти сайт, у которого бы количество страниц в индексе Яндексе и Google было одинаковым.

А теперь представьте ситуацию. У вас интернет-магазин, и вы обнаружили, что в Яндексе на 10% больше, чем в Google. Естественно, нужно найти страницы, из-за которых наблюдается расхождение. Если это дубли или страницы с GET-параметрами  это одно. Но если это товарные страницы, которые по какой-то причине не индексируются одним поисковиком  это совсем другое.

Поэтому полезно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сравнивать результаты, находить страницы, которых нет в поиске, и принимать меры.

Анализ индексации в Яндексе и Google: в чем проблема?

Данные по страницам в индексе доступны в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Данные по страницам в индексе доступны в панелях для вебмастеров

  • Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

Google Search Console

После выгрузки у вас будет два файла со списком URL, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких именно URL не хватает в каждой поисковой системе.

Если у вас, допустим, до 50-100 URL, то все можно сделать руками. Отсортируйте URL по алфавиту и выявите расхождения. На все про все уйдет до 30 минут. Проблемы начинаются, когда количество URL составляет 300, 500 и более. Не говоря уже о десятках тысяч. Здесь нужна автоматизация. Рассмотрим инструмент, который позволяет быстро проверить индексацию и найти расхождения.

Инструмент проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент для анализа индексации страниц.

Что он умеет:

  • одновременно проверять проиндексированные страницы в Яндексе и Google (или только одной из тих ПС);
  • проверять сразу все URL сайта из XML-карты;

    Особенности инструмента:

    • работа «в облаке»;
    • выгрузка отчетов в формате XLSX;
    • уведомление на почту об окончании сбора данных;
    • хранение отчетов неограниченное время на сервере PromoPult;
    • нет ограничений по количеству URL.

      Как проверить индексацию страниц с помощью инструмента PromoPult

      Шаг 1. Добавьте URL на проверку

      Перейдите на страницу инструмента и добавьте URL, которые нужно проверить. Делается это одним из трех способов:

      • Добавление XML-карты сайта (вариант подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

      Добавление XML-карты сайта

      • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

      Загрузка XLSX-файла

      • Добавление списка URL вручную (вариант подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL прописывайте с новой строки).

      Добавление списка URL вручную

      В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи.

       Из XML-карты сайта или CMS

      В этом случае можно проверить, какие из важных URL не проиндексированы.

      Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

      site:yourdomain.ru

      Получаем количество проиндексированных страниц  684 и 1090.

      Получаем количество проиндексированных страниц

      Задача  определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

      Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Consol

      Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение,  это позволит выявить «лишние» страницы.

      Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

      Проверяем количество страниц

      В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

      Шаг 2. Указание поисковой системы

      На данном этапе выберите ПС для проверки индексации. Для выявления расхождений выберите две системы.

      ПС для проверки индексации

      Шаг 3. Загрузка отчета

      После проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

      Загрузка отчета

      Загрузите отчет в формате XLSX:

      Загрузите отчет в формате XLSX

      В файле два листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1  страница проиндексирована, 0  нет).

      Результаты анализа и исходные данные

      С помощью автофильтра вы легко определите, каких страниц не хватает в Яндексе или Google:

      Каких страниц не хватает в Яндексе или Google

      В Яндексе и Google разное количество проиндексированных страниц: что делать?

      На данном этапе вы уже знаете, какие страницы не проиндексированы. Но почему так произошло?

      Вот причины, по которым поисковики могут индексировать не все (или лишние) страницы:

      • Разные директивы для роботов Яндекса и Google в robots.txt. В этом случае  ошибочно или намеренно  запрещена индексация определенного типа страниц для Googlebot или Yandexbot; проверьте файл robots.txt и при необходимости исправьте директивы.
      • Молодой сайт. Требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
      • Нет XML-карты сайта. Она помогает роботам ПС эффективней сканировать сайт, поэтому ее стоит обязательно создать и указать путь к ней в robots.txt.
      • Наличие дублей страниц. Возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение  найти и устранить дубли.
      • Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение  найти «узкие места» и ускорить работу сайта.
      • Редкое добавление контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога. Если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult  копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики  размещать их на страницах.
      • Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
      • Санкции поисковиков. Ваш сайт может попасть под фильтры одного из поисковиков. В этом случае стоит проверить сайт на наличие фильтров.
      • Более 4-х уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение переосмыслите структуру сайта, максимально упростите ее.

          После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

          Сколько стоит проверка индексации страниц

          Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц  400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

          Анализатор индексации страниц  это лишь один из инструментов системы PromoPult. Среди профессиональных инструментов вы найдете также чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности. Многие инструменты бесплатные. Есть бесплатные проверки.

          (Голосов: 6, Рейтинг: 4.33)
          0
          0

          Есть о чем рассказать? Тогда присылайте свои материалы в редакцию.


          Новые 
          Новые
          Лучшие
          Старые
          Сообщество
          Подписаться 
          Подписаться на дискуссию:
          E-mail:
          ОК
          Вы подписаны на комментарии
          Ошибка. Пожалуйста, попробуйте ещё раз.
          Отправить отзыв
          ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
          Алгоритм продвижения сайта через Pinterest
          Виктор Гаврюков
          28
          комментариев
          1
          читатель
          Полный профиль
          Виктор Гаврюков - В самом вверху есть ссылка на мою группу в ВК, там где автор материала. Через группу и свяжитесь со мной_)
          Как забрать 5 мест в выдаче из 10. Кейс-эксперимент
          Виктор Гаврюков
          28
          комментариев
          1
          читатель
          Полный профиль
          Виктор Гаврюков - такое можно делать и с ВЧ_)
          Ссылочный апдейт Google: что изменится для SEO-специалистов в рунете
          Тимур
          6
          комментариев
          0
          читателей
          Полный профиль
          Тимур - Понял, спасибо за информацию.
          Как продвинуть сайт по коммерческим запросам в ТОП-10 с помощью ресурса Reddit
          Denis Zar
          2
          комментария
          0
          читателей
          Полный профиль
          Denis Zar - пользовались услугами по продвижению на реддит от reddit-marketing.pro?
          3 основные ошибки, которые допускают владельцы сайтов при продвижении
          Виктор Гаврюков
          28
          комментариев
          1
          читатель
          Полный профиль
          Виктор Гаврюков - Не обращай внимания_) Если у тебя хороший ресурс, то ты будешь первоисточником, и все кто своровал, автоматически начнут на тебя ссылаться, точнее, так гугл будет считать_)
          Как мы увеличили трафик из Яндекса более чем в 3 раза за неделю на сайте клиники. Кейс
          Андрей
          1
          комментарий
          0
          читателей
          Полный профиль
          Андрей - У большинства сайтов произошел рост в Гугле в декабре и в марте Яндекса. Ваши шаманства тут не причём :)
          Как доработка структуры вывела сайт в ТОП-10 Google и увеличила трафик в 2 раза. Кейс Связной Трэвел
          Дмитрий
          3
          комментария
          0
          читателей
          Полный профиль
          Дмитрий - Вероятнее всего было обновление Google и позиции были снижены в связи с низкой скоростью загрузки страниц (так как доработке ведутся не только по SEO, но и в целом по функционалу сайта, появляются новые скрипты). В этот период в Google Search Console увеличилось количество страниц с низкой скоростью загрузки. Мы выявили несколько проблем, которые снижают скорость загрузки страниц и выдали рекомендации по их устранению. Пока данные рекомендации находятся в работе. Также был проведен анализ EAT факторов и проверка сайта на соответствие требованиям Google к YMYL сайта, выданы рекомендации по доработке данных факторов (ждем внедрения наших рекомендаций, поделимся потом результатами).
          Рост ботных переходов на сайт: как интерпретировать и что делать
          Mike
          5
          комментариев
          0
          читателей
          Полный профиль
          Mike - как это проверить? что товары выводится именно на основе спроса, а не по заданным алгоритмам?
          Сравнительная статистика уровня жизни SEO-специалистов в семи странах, включая Россию
          Рустам
          1
          комментарий
          0
          читателей
          Полный профиль
          Рустам - Средняя температура по больнице, подсчет даже близко не отображает действительность, особенно учитывая разность цен и уровня зп в разных частях больших стран (США, Канада, Россия)
          Вечные ссылки: зачем они нужны и где их взять
          Павел Павлов
          3
          комментария
          0
          читателей
          Полный профиль
          Павел Павлов - Покупаю только на сапе и те арендованные остальная масса ссылок это крауд ссылки
          ТОП КОММЕНТАТОРОВ
          Комментариев
          910
          Комментариев
          834
          Комментариев
          554
          Комментариев
          540
          Комментариев
          483
          Комментариев
          385
          Комментариев
          373
          Комментариев
          262
          Комментариев
          249
          Комментариев
          171
          Комментариев
          156
          Комментариев
          141
          Комментариев
          121
          Комментариев
          114
          Комментариев
          97
          Комментариев
          97
          Комментариев
          96
          Комментариев
          92
          Комментариев
          80
          Комментариев
          77
          Комментариев
          74
          Комментариев
          67
          Комментариев
          62
          Комментариев
          60
          Комментариев
          59

          Отправьте отзыв!
          Отправьте отзыв!