Optimization 2022: как решить проблемы индексации на любых сайтах

10-11 ноября 2022 года в Москве состоялась конференция Optimization-2022. В рамках секции, посвященной техническим факторам ранжирования, Захар Федоренко (Rush Agency) рассказал, как решить проблемы индексации в Google на любых сайтах: от 1 до десятков миллионов страниц.

Основные проблемы, связанные с индексацией:

1. Страницы не попадают в индекс, либо этот процесс занимает очень много времени. А если страницы нет в индексе, то она не приносит органический трафик.

2. Крупный сайт, но низкий краулинговый бюджет. Лимит может не позволить роботу проиндексировать нужные страницы.

3. Робот долго узнает об изменениях на проиндексированной когда-то странице. По словам Захара, этот процесс можно ускорить, чтобы роботы в течение четырех дней узнали об изменениях и ранжировали сайт лучше.

Какие ниши страдают больше всего:

1. онлайн-магазины,
2. информационные сайты,
3. сайты услуг,
4. лендинги. Google скептически относится к сайтам, у которых мало страниц, поэтому плохо их индексирует.

3 причины, почему Google не индексирует ваш сайт

Первая причина. Плохая техническая оптимизация сайта.

• ненастроенный robots.txt,
• ненастроенный Sitemap,
• дубли страниц,
• не все страницы, которые потенциально могут приносить SEO-трафик, отдают код ответа 200,
• битые ссылки,
• отсутствие внутренней перелинковки
• слабая скорость загрузки сайта.

Что касается скорости загрузки сайта, то здесь важно правильно поставить техническое задание программисту (ТЗ).

Как выглядит неправильное ТЗ на улучшение скорости загрузки сайта: сделать скриншоты из PageSpeed и написать программисту, что нужно стремиться к 90.

Как выглядит правильное ТЗ:

• Подключить API PageSpeed в софт для сканирования Screaming Frog.
• Взять несколько основных конкурентов и свой сайт, выделить среди них важные типы страниц (их всего три: главная, страница категорий и карточки товаров, 10 страниц вполне достаточно).
• Прогнать эти страницы по PageSpeed и внести данные в таблицу Excel, вывести среднее значение. К этому показателю и нужно стремиться.

Вторая причина. Алгоритмы поисковых систем

Не всегда алгоритм поисковых систем работает так, как задумано. Бывает, что сайт действительно хороший, полезный, но по какой-то причине алгоритм счел его неполезным.

Третья причина. Низкое качество страниц

Захар рекомендует проводить аудит содержания страниц. Для этого нужно открыть ТОП поисковой выдачи в Google или Яндексе и детально просмотреть каждую страницу, абсолютно все блоки, которые есть у вас и у конкурентов. Далее выявить, какие блоки могут реально очень сильно влиять на ранжирование. Например, какой-нибудь онлайн-калькулятор.

Что дает индексация сайта

Как диагностировать свой сайт

Как понять, есть ли у вас проблемы и насколько они серьезные. Сделать это можно разными инструментами, Захар привел пример нескольких из них.

1. Бесплатный инструмент Google Search Console. В настройках в разделе Индекс – Страницы можно посмотреть страницы, которые просканированы, но пока не проиндексированы.

Google Search Console обновляется раз в 4 дня. Если вы не хотите ждать, то можно воспользоваться сторонними инструментами. Один из них – это Rush Analytics.

2. Rush Analytics – инструмент проверки индексации. Позволяет легко проверять, загонять нужные страницы, смотреть динамику, графики, выгружать их в виде Excel и т.д.

3. Помимо них так же можно использовать другие инструменты, чаще всего: Screaming Frog с дополнительным подключением API, A-Parser, Site Analyzer (это аналог Screaming Frog) либо Key Collector.

Когда вы определили, что на сайте есть проблема с индексацией, и она довольно серьезная, Захар предлагает способ ее решения.

Как решить проблему с индексацией

Проверьте, корректно ли Google отображает сайт

Бывает, что Google некорректно видит ваш сайт. Это может быть связано с использованием JavaScript, либо проблемами в robots.txt и т.д. В Google Search Console можно ввести URL интересующей страницы и посмотреть, как Google ее видит.

Проработайте контент на неиндексируемых страницах

Если страницы не в индексе, то первое, на что стоит обратить внимание – это контент. Сделайте аудит содержания, возможно, действительно он хуже, чем у конкурентов.

Проработайте структуру сайта и его внутреннюю перелинковку

Важно настроить внутреннюю перелинковку, т.к. чем она лучше, тем больше вероятность, что страница попадет в индекс. Карта сайта может быть XML, HTML или TXT.

Проверьте корректность файла robots.txt

Помимо проверки, индексируется ли страница и не закрыты ли какие-либо категории, нужно посмотреть, не запрещены ли какие-либо изображения, скрипты и прочее.

Проверьте наличие и корректность sitemap.xml и его доступность в GSC

Sitemap надо добавлять в Google Search Console. Бывает, что при добавлении сайта GSC показывает, что в нем нет урлов. Причины и решения: 1) низкая скорость загрузки страницы. В этом случае нужно сделать Sitemap статическим, обновлять его не при каждом запросе, а раз в какое-то время, в зависимости от того, насколько крупный сайт, насколько часто в него вносятся изменения. 2) Также рекомендуется добавить в robots.txt ссылку на Sitemap.

Отправьте адреса нужных страниц через Google Indexing API

С помощью этого инструмента, по словам спикера, ему удалось проиндексировать за 10 дней более 2,5 млн страниц.

Читы на индексацию – это Google Indexing API

Ответы на эти вопросы, а также подробный гайд и скрипты для автоматизации Захар разместил в инструкции. Ее можно скачать по коду, представленному ниже.

Читайте также:

Optimization 2022: тренды в SEO

Optimization 2022: как продвигать сайты в Юго-Восточной Азии

Optimization 2022: Data Driven SEO для роста продаж в eCommerce