Как быстро проверить индексацию страниц в Яндексе и Google

Поисковики зачастую индексируют не все страницы сайта или, наоборот, заносят в индекс нежелательные. В результате сложно найти сайт, у которого бы количество страниц в индексе Яндексе и Google было одинаковым.

А теперь представьте ситуацию. У вас интернет-магазин, и вы обнаружили, что в Яндексе на 10% больше, чем в Google. Естественно, нужно найти страницы, из-за которых наблюдается расхождение. Если это дубли или страницы с GET-параметрами – это одно. Но если это товарные страницы, которые по какой-то причине не индексируются одним поисковиком – это совсем другое.

Поэтому полезно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сравнивать результаты, находить страницы, которых нет в поиске, и принимать меры.

Анализ индексации в Яндексе и Google: в чем проблема?

Данные по страницам в индексе доступны в панелях для вебмастеров:

• Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

• Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

После выгрузки у вас будет два файла со списком URL, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких именно URL не хватает в каждой поисковой системе.

Если у вас, допустим, до 50-100 URL, то все можно сделать руками. Отсортируйте URL по алфавиту и выявите расхождения. На все про все уйдет до 30 минут. Проблемы начинаются, когда количество URL составляет 300, 500 и более. Не говоря уже о десятках тысяч. Здесь нужна автоматизация. Рассмотрим инструмент, который позволяет быстро проверить индексацию и найти расхождения.

Инструмент проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент для анализа индексации страниц.

Что он умеет:

• одновременно проверять проиндексированные страницы в Яндексе и Google (или только одной из тих ПС);
• проверять сразу все URL сайта из XML-карты;

Особенности инструмента:

• работа «в облаке»;
• выгрузка отчетов в формате XLSX;
• уведомление на почту об окончании сбора данных;
• хранение отчетов неограниченное время на сервере PromoPult;
• нет ограничений по количеству URL.

Как проверить индексацию страниц с помощью инструмента PromoPult

Шаг 1. Добавьте URL на проверку

Перейдите на страницу инструмента и добавьте URL, которые нужно проверить. Делается это одним из трех способов:

• Добавление XML-карты сайта (вариант подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

• Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

• Добавление списка URL вручную (вариант подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL прописывайте с новой строки).

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи.

 Из XML-карты сайта или CMS

В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

site:yourdomain.ru

Получаем количество проиндексированных страниц – 684 и 1090.

Задача – определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Consol

Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, – это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Шаг 2. Указание поисковой системы

На данном этапе выберите ПС для проверки индексации. Для выявления расхождений выберите две системы.

Шаг 3. Загрузка отчета

После проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

Загрузите отчет в формате XLSX:

В файле два листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 – страница проиндексирована, 0 – нет).

С помощью автофильтра вы легко определите, каких страниц не хватает в Яндексе или Google:

В Яндексе и Google разное количество проиндексированных страниц: что делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Но почему так произошло?

Вот причины, по которым поисковики могут индексировать не все (или лишние) страницы:

• Разные директивы для роботов Яндекса и Google в robots.txt. В этом случае – ошибочно или намеренно – запрещена индексация определенного типа страниц для Googlebot или Yandexbot; проверьте файл robots.txt и при необходимости исправьте директивы.
• Молодой сайт. Требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
• Нет XML-карты сайта. Она помогает роботам ПС эффективней сканировать сайт, поэтому ее стоит обязательно создать и указать путь к ней в robots.txt.
• Наличие дублей страниц. Возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение – найти и устранить дубли.
• Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение – найти «узкие места» и ускорить работу сайта.
• Редкое добавление контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога. Если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult – копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики – размещать их на страницах.
• Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
• Санкции поисковиков. Ваш сайт может попасть под фильтры одного из поисковиков. В этом случае стоит проверить сайт на наличие фильтров.
• Более 4-х уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение –переосмыслите структуру сайта, максимально упростите ее.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Сколько стоит проверка индексации страниц

Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц – 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

Анализатор индексации страниц – это лишь один из инструментов системы PromoPult. Среди профессиональных инструментов вы найдете также чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности. Многие инструменты бесплатные. Есть бесплатные проверки.