Детально

10-11 ноября 2022 года в Москве состоялась конференция Optimization-2022. В рамках секции, посвященной техническим факторам ранжирования, Захар Федоренко (Rush Agency) рассказал, как решить проблемы индексации в Google на любых сайтах: от 1 до десятков миллионов страниц.

Основные проблемы, связанные с индексацией:

1. Страницы не попадают в индекс, либо этот процесс занимает очень много времени. А если страницы нет в индексе, то она не приносит органический трафик.

2. Крупный сайт, но низкий краулинговый бюджет. Лимит может не позволить роботу проиндексировать нужные страницы.

3. Робот долго узнает об изменениях на проиндексированной когда-то странице. По словам Захара, этот процесс можно ускорить, чтобы роботы в течение четырех дней узнали об изменениях и ранжировали сайт лучше.

Какие ниши страдают больше всего:

онлайн-магазины,
информационные сайты,
сайты услуг,
лендинги. Google скептически относится к сайтам, у которых мало страниц, поэтому плохо их индексирует.

3 причины, почему Google не индексирует ваш сайт

Первая причина. Плохая техническая оптимизация сайта.

ненастроенный robots.txt,
ненастроенный Sitemap,
дубли страниц,
не все страницы, которые потенциально могут приносить SEO-трафик, отдают код ответа 200,
битые ссылки,
отсутствие внутренней перелинковки
слабая скорость загрузки сайта.

Что касается скорости загрузки сайта, то здесь важно правильно поставить техническое задание программисту (ТЗ).

Как выглядит неправильное ТЗ на улучшение скорости загрузки сайта: сделать скриншоты из PageSpeed и написать программисту, что нужно стремиться к 90.

Как выглядит правильное ТЗ:

Подключить API PageSpeed в софт для сканирования Screaming Frog.
Взять несколько основных конкурентов и свой сайт, выделить среди них важные типы страниц (их всего три: главная, страница категорий и карточки товаров, 10 страниц вполне достаточно).
Прогнать эти страницы по PageSpeed и внести данные в таблицу Excel, вывести среднее значение. К этому показателю и нужно стремиться.

Вторая причина. Алгоритмы поисковых систем

Не всегда алгоритм поисковых систем работает так, как задумано. Бывает, что сайт действительно хороший, полезный, но по какой-то причине алгоритм счел его неполезным.

Третья причина. Низкое качество страниц

Захар рекомендует проводить аудит содержания страниц. Для этого нужно открыть ТОП поисковой выдачи в Google или Яндексе и детально просмотреть каждую страницу, абсолютно все блоки, которые есть у вас и у конкурентов. Далее выявить, какие блоки могут реально очень сильно влиять на ранжирование. Например, какой-нибудь онлайн-калькулятор.

Что дает индексация сайта

Как диагностировать свой сайт

Как понять, есть ли у вас проблемы и насколько они серьезные. Сделать это можно разными инструментами, Захар привел пример нескольких из них.

1. Бесплатный инструмент Google Search Console. В настройках в разделе Индекс – Страницы можно посмотреть страницы, которые просканированы, но пока не проиндексированы.

Google Search Console обновляется раз в 4 дня. Если вы не хотите ждать, то можно воспользоваться сторонними инструментами. Один из них – это Rush Analytics.

2. Rush Analytics – инструмент проверки индексации. Позволяет легко проверять, загонять нужные страницы, смотреть динамику, графики, выгружать их в виде Excel и т.д.

3. Помимо них так же можно использовать другие инструменты, чаще всего: Screaming Frog с дополнительным подключением API, A-Parser, Site Analyzer (это аналог Screaming Frog) либо Key Collector.

Когда вы определили, что на сайте есть проблема с индексацией, и она довольно серьезная, Захар предлагает способ ее решения.

Как решить проблему с индексацией

Проверьте, корректно ли Google отображает сайт

Бывает, что Google некорректно видит ваш сайт. Это может быть связано с использованием JavaScript, либо проблемами в robots.txt и т.д. В Google Search Console можно ввести URL интересующей страницы и посмотреть, как Google ее видит.

Проработайте контент на неиндексируемых страницах

Если страницы не в индексе, то первое, на что стоит обратить внимание – это контент. Сделайте аудит содержания, возможно, действительно он хуже, чем у конкурентов.

Проработайте структуру сайта и его внутреннюю перелинковку

Важно настроить внутреннюю перелинковку, т.к. чем она лучше, тем больше вероятность, что страница попадет в индекс. Карта сайта может быть XML, HTML или TXT.

Проверьте корректность файла robots.txt

Помимо проверки, индексируется ли страница и не закрыты ли какие-либо категории, нужно посмотреть, не запрещены ли какие-либо изображения, скрипты и прочее.

Проверьте наличие и корректность sitemap.xml и его доступность в GSC

Sitemap надо добавлять в Google Search Console. Бывает, что при добавлении сайта GSC показывает, что в нем нет урлов. Причины и решения: 1) низкая скорость загрузки страницы. В этом случае нужно сделать Sitemap статическим, обновлять его не при каждом запросе, а раз в какое-то время, в зависимости от того, насколько крупный сайт, насколько часто в него вносятся изменения. 2) Также рекомендуется добавить в robots.txt ссылку на Sitemap.

Отправьте адреса нужных страниц через Google Indexing API

С помощью этого инструмента, по словам спикера, ему удалось проиндексировать за 10 дней более 2,5 млн страниц.

Читы на индексацию – это Google Indexing API

Ответы на эти вопросы, а также подробный гайд и скрипты для автоматизации Захар разместил в инструкции. Ее можно скачать по коду, представленному ниже.

Optimization 2022: как решить проблемы индексации на любых сайтах