×

Как быстро проверить индексацию страниц в Яндексе и Google

Россия +7 (495) 139-20-33
Шрифт:
0 6370

Поисковики зачастую индексируют не все страницы сайта или, наоборот, заносят в индекс нежелательные. В результате сложно найти сайт, у которого бы количество страниц в индексе Яндексе и Google было одинаковым.

А теперь представьте ситуацию. У вас интернет-магазин, и вы обнаружили, что в Яндексе на 10% больше, чем в Google. Естественно, нужно найти страницы, из-за которых наблюдается расхождение. Если это дубли или страницы с GET-параметрами  это одно. Но если это товарные страницы, которые по какой-то причине не индексируются одним поисковиком  это совсем другое.

Поэтому полезно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сравнивать результаты, находить страницы, которых нет в поиске, и принимать меры.

Анализ индексации в Яндексе и Google: в чем проблема?

Данные по страницам в индексе доступны в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Данные по страницам в индексе доступны в панелях для вебмастеров

  • Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

Google Search Console

После выгрузки у вас будет два файла со списком URL, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких именно URL не хватает в каждой поисковой системе.

Если у вас, допустим, до 50-100 URL, то все можно сделать руками. Отсортируйте URL по алфавиту и выявите расхождения. На все про все уйдет до 30 минут. Проблемы начинаются, когда количество URL составляет 300, 500 и более. Не говоря уже о десятках тысяч. Здесь нужна автоматизация. Рассмотрим инструмент, который позволяет быстро проверить индексацию и найти расхождения.

Инструмент проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент для анализа индексации страниц.

Что он умеет:

  • одновременно проверять проиндексированные страницы в Яндексе и Google (или только одной из тих ПС);
  • проверять сразу все URL сайта из XML-карты;

    Особенности инструмента:

    • работа «в облаке»;
    • выгрузка отчетов в формате XLSX;
    • уведомление на почту об окончании сбора данных;
    • хранение отчетов неограниченное время на сервере PromoPult;
    • нет ограничений по количеству URL.

      Как проверить индексацию страниц с помощью инструмента PromoPult

      Шаг 1. Добавьте URL на проверку

      Перейдите на страницу инструмента и добавьте URL, которые нужно проверить. Делается это одним из трех способов:

      • Добавление XML-карты сайта (вариант подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

      Добавление XML-карты сайта

      • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

      Загрузка XLSX-файла

      • Добавление списка URL вручную (вариант подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL прописывайте с новой строки).

      Добавление списка URL вручную

      В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи.

       Из XML-карты сайта или CMS

      В этом случае можно проверить, какие из важных URL не проиндексированы.

      Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

      site:yourdomain.ru

      Получаем количество проиндексированных страниц  684 и 1090.

      Получаем количество проиндексированных страниц

      Задача  определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

      Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Consol

      Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение,  это позволит выявить «лишние» страницы.

      Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

      Проверяем количество страниц

      В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

      Шаг 2. Указание поисковой системы

      На данном этапе выберите ПС для проверки индексации. Для выявления расхождений выберите две системы.

      ПС для проверки индексации

      Шаг 3. Загрузка отчета

      После проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

      Загрузка отчета

      Загрузите отчет в формате XLSX:

      Загрузите отчет в формате XLSX

      В файле два листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1  страница проиндексирована, 0  нет).

      Результаты анализа и исходные данные

      С помощью автофильтра вы легко определите, каких страниц не хватает в Яндексе или Google:

      Каких страниц не хватает в Яндексе или Google

      В Яндексе и Google разное количество проиндексированных страниц: что делать?

      На данном этапе вы уже знаете, какие страницы не проиндексированы. Но почему так произошло?

      Вот причины, по которым поисковики могут индексировать не все (или лишние) страницы:

      • Разные директивы для роботов Яндекса и Google в robots.txt. В этом случае  ошибочно или намеренно  запрещена индексация определенного типа страниц для Googlebot или Yandexbot; проверьте файл robots.txt и при необходимости исправьте директивы.
      • Молодой сайт. Требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
      • Нет XML-карты сайта. Она помогает роботам ПС эффективней сканировать сайт, поэтому ее стоит обязательно создать и указать путь к ней в robots.txt.
      • Наличие дублей страниц. Возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение  найти и устранить дубли.
      • Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение  найти «узкие места» и ускорить работу сайта.
      • Редкое добавление контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога. Если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult  копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики  размещать их на страницах.
      • Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
      • Санкции поисковиков. Ваш сайт может попасть под фильтры одного из поисковиков. В этом случае стоит проверить сайт на наличие фильтров.
      • Более 4-х уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение переосмыслите структуру сайта, максимально упростите ее.

          После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

          Сколько стоит проверка индексации страниц

          Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц  400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

          Анализатор индексации страниц  это лишь один из инструментов системы PromoPult. Среди профессиональных инструментов вы найдете также чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности. Многие инструменты бесплатные. Есть бесплатные проверки.

          (Голосов: 6, Рейтинг: 4.33)
          0
          0

          Есть о чем рассказать? Тогда присылайте свои материалы в редакцию.


          Новые 
          Новые
          Лучшие
          Старые
          Сообщество
          Подписаться 
          Подписаться на дискуссию:
          E-mail:
          ОК
          Вы подписаны на комментарии
          Ошибка. Пожалуйста, попробуйте ещё раз.
          Отправить отзыв
          ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
          Кейс: как за 30 дней вывести новый сайт в ТОП выдачи Google
          Сергей
          2
          комментария
          0
          читателей
          Полный профиль
          Сергей - Прошёл у Паши курс год назад, пытался продвигать свой сайт portativ.org.ua, но особых продвижений нет. Наверное сео уже умерло??
          Облако тегов в интернет-магазине: прикладная инструкция по увеличению трафика
          Юлия Дмитриева
          2
          комментария
          0
          читателей
          Полный профиль
          Юлия Дмитриева - Согласна с вами, что в любом деле важен индивидуальный подход:)
          Специалисты в Рунете заметили глобальную накрутку поведенческих факторов
          Дмитрий Кулаевский
          1
          комментарий
          0
          читателей
          Полный профиль
          Дмитрий Кулаевский - кто-нибудь знает как с этим бороться? очень много такого трафа идёт с июля, сайт сильно просел
          Как стандартизировать данные семантики с помощью логарифмов
          Юлий
          1
          комментарий
          0
          читателей
          Полный профиль
          Юлий - Чем снималась коммерцелизация?
          Яндекс возобновил «показательные порки» за накрутку поведенческих факторов
          Антон
          1
          комментарий
          0
          читателей
          Полный профиль
          Антон - Никакой не выпал. Кроме клиентского сайта, который проседал из-за скрутки, о чем Я.Поиску сообщали и клиенту тоже. Ноль реакции от поисковика (продолжайте развивать сайт, никаких проблем нет ...). Клиенту надоело и он заказал накрутку у подрядчиков. Мы искренне ждали бана, сообщали об этом клиенту, т.к. мы все таки делаем все остальное для развития. Как итог: с лета полет нормальный. Сайт растет, никаких проблем. Случайно даже стажер палил тех поддержке факт использования накрутки. И ничего. Сайт растет дальше. Если они не могут ничего принять даже после признания факта накрутки, что они могут сделать с жалобами на накрутку конкурентов?! Никогда не одобряли данные методы, но ... похоже ... все работает :)
          «Нет в наличии»: что делать с карточками отсутствующего товара
          freyr energy
          1
          комментарий
          0
          читателей
          Полный профиль
          freyr energy - Thank you so much @ admin for share your valuable thoughts and ideas We always enjoy your articles its inspired a lot by reading your articles day by day. So please accept my thanks and congrats for success of your latest series. We hope, you should published more better articles like ever before solar rooftop
          Яндекс тестирует оценки сайта в сниппете
          Сергей Демин
          8
          комментариев
          0
          читателей
          Полный профиль
          Сергей Демин - вопрос такой: где получить оценку о сайте? а не об организации
          15 языков программирования, за знание которых платят выше среднего
          Любомир
          2
          комментария
          0
          читателей
          Полный профиль
          Любомир - Ну и ЗП: ни слова о том что она варируеться от 0 до 100 000$ в год!!! Что до высокой зп надо несколько лет етим заниматся! Что 100 000$ в год на западе заробатывают, а где нибудь в азиатских страннах 100$ в год. В СНГ первые годы в разработчика ЗП как в грузчика на складе - это где то 4-5 тыс. долларов в год, и уже имея несколько лет опыта возможно дойти до 10-20 тыс. долларов в год! Почему нет конкретики? Меня лично нервирует то что людям внушают великие ЗП в АйТи, а люди тупые и ведутся!!!!
          Локальное продвижение интернет-магазина: как получить дополнительный трафик из регионов
          Саша Дружин
          2
          комментария
          0
          читателей
          Полный профиль
          Саша Дружин - У меня был опыт раскрутки сайта на иностранных рынок, например для анголязычной аудитории. В целом отличия есть, хоть и небольшие. Больше всегда прироста получил после закупки ссылок от www.e-raskrutka.ru/anothercountry , они достаточно качественно работают на англоязычную аудиторию и могут лаконично вписаться в любое обсуждение. Можно самому попробовать заказать такие ссылки и посмотреть на результат.
          От количества к качеству: что происходит с рекламой в Рунете
          Евгений
          1
          комментарий
          0
          читателей
          Полный профиль
          Евгений - Истину глаголите!
          ТОП КОММЕНТАТОРОВ
          Комментариев
          910
          Комментариев
          834
          Комментариев
          554
          Комментариев
          540
          Комментариев
          483
          Комментариев
          384
          Комментариев
          373
          Комментариев
          262
          Комментариев
          249
          Комментариев
          171
          Комментариев
          156
          Комментариев
          141
          Комментариев
          121
          Комментариев
          113
          Комментариев
          97
          Комментариев
          97
          Комментариев
          96
          Комментариев
          91
          Комментариев
          80
          Комментариев
          77
          Комментариев
          67
          Комментариев
          60
          Комментариев
          60
          Комментариев
          59
          Комментариев
          57

          Отправьте отзыв!
          Отправьте отзыв!