×
Россия +7 (495) 139-20-33

Optimization 2022: как решить проблемы индексации на любых сайтах

Россия +7 (495) 139-20-33
Шрифт:
0 5483
Подпишитесь на нас в Telegram

10-11 ноября 2022 года в Москве состоялась конференция Optimization-2022. В рамках секции, посвященной техническим факторам ранжирования, Захар Федоренко (Rush Agency) рассказал, как решить проблемы индексации в Google на любых сайтах: от 1 до десятков миллионов страниц.

Основные проблемы, связанные с индексацией:

1. Страницы не попадают в индекс, либо этот процесс занимает очень много времени. А если страницы нет в индексе, то она не приносит органический трафик.

2. Крупный сайт, но низкий краулинговый бюджет. Лимит может не позволить роботу проиндексировать нужные страницы.

3. Робот долго узнает об изменениях на проиндексированной когда-то странице. По словам Захара, этот процесс можно ускорить, чтобы роботы в течение четырех дней узнали об изменениях и ранжировали сайт лучше.

Какие ниши страдают больше всего:

  1. онлайн-магазины,
  2. информационные сайты,
  3. сайты услуг,
  4. лендинги. Google скептически относится к сайтам, у которых мало страниц, поэтому плохо их индексирует.

3 причины, почему Google не индексирует ваш сайт

3 причины-

Первая причина. Плохая техническая оптимизация сайта.

  • ненастроенный robots.txt,
  • ненастроенный Sitemap,
  • дубли страниц,
  • не все страницы, которые потенциально могут приносить SEO-трафик, отдают код ответа 200,
  • битые ссылки,
  • отсутствие внутренней перелинковки
  • слабая скорость загрузки сайта.

Что касается скорости загрузки сайта, то здесь важно правильно поставить техническое задание программисту (ТЗ).

Как выглядит неправильное ТЗ на улучшение скорости загрузки сайта: сделать скриншоты из PageSpeed и написать программисту, что нужно стремиться к 90.

Как выглядит правильное ТЗ:

  • Подключить API PageSpeed в софт для сканирования Screaming Frog.
  • Взять несколько основных конкурентов и свой сайт, выделить среди них важные типы страниц (их всего три: главная, страница категорий и карточки товаров, 10 страниц вполне достаточно).
  • Прогнать эти страницы по PageSpeed и внести данные в таблицу Excel, вывести среднее значение. К этому показателю и нужно стремиться.

Вторая причина. Алгоритмы поисковых систем

Не всегда алгоритм поисковых систем работает так, как задумано. Бывает, что сайт действительно хороший, полезный, но по какой-то причине алгоритм счел его неполезным.

Третья причина. Низкое качество страниц

Захар рекомендует проводить аудит содержания страниц. Для этого нужно открыть ТОП поисковой выдачи в Google или Яндексе и детально просмотреть каждую страницу, абсолютно все блоки, которые есть у вас и у конкурентов. Далее выявить, какие блоки могут реально очень сильно влиять на ранжирование. Например, какой-нибудь онлайн-калькулятор.

Что дает индексация сайта

Сила индексации

Как диагностировать свой сайт

Как понять, есть ли у вас проблемы и насколько они серьезные. Сделать это можно разными инструментами, Захар привел пример нескольких из них.

1. Бесплатный инструмент Google Search Console. В настройках в разделе Индекс – Страницы можно посмотреть страницы, которые просканированы, но пока не проиндексированы.

Google Search Console

Google Search Console обновляется раз в 4 дня. Если вы не хотите ждать, то можно воспользоваться сторонними инструментами. Один из них – это Rush Analytics.

2. Rush Analytics – инструмент проверки индексации. Позволяет легко проверять, загонять нужные страницы, смотреть динамику, графики, выгружать их в виде Excel и т.д.

3. Помимо них так же можно использовать другие инструменты, чаще всего: Screaming Frog с дополнительным подключением API, A-Parser, Site Analyzer (это аналог Screaming Frog) либо Key Collector.

Инструменты для диагностики сайта

Когда вы определили, что на сайте есть проблема с индексацией, и она довольно серьезная, Захар предлагает способ ее решения.

Как решить проблему с индексацией

Проверьте, корректно ли Google отображает сайт

Бывает, что Google некорректно видит ваш сайт. Это может быть связано с использованием JavaScript, либо проблемами в robots.txt и т.д. В Google Search Console можно ввести URL интересующей страницы и посмотреть, как Google ее видит.

Проработайте контент на неиндексируемых страницах

Если страницы не в индексе, то первое, на что стоит обратить внимание – это контент. Сделайте аудит содержания, возможно, действительно он хуже, чем у конкурентов.

Проработайте структуру сайта и его внутреннюю перелинковку

Важно настроить внутреннюю перелинковку, т.к. чем она лучше, тем больше вероятность, что страница попадет в индекс. Карта сайта может быть XML, HTML или TXT.

Проверьте корректность файла robots.txt

Помимо проверки, индексируется ли страница и не закрыты ли какие-либо категории, нужно посмотреть, не запрещены ли какие-либо изображения, скрипты и прочее.

Проверьте наличие и корректность sitemap.xml и его доступность в GSC

Sitemap надо добавлять в Google Search Console. Бывает, что при добавлении сайта GSC показывает, что в нем нет урлов. Причины и решения: 1) низкая скорость загрузки страницы. В этом случае нужно сделать Sitemap статическим, обновлять его не при каждом запросе, а раз в какое-то время, в зависимости от того, насколько крупный сайт, насколько часто в него вносятся изменения. 2) Также рекомендуется добавить в robots.txt ссылку на Sitemap.

Отправьте адреса нужных страниц через Google Indexing API

С помощью этого инструмента, по словам спикера, ему удалось проиндексировать за 10 дней более 2,5 млн страниц.

Читы на индексацию – это Google Indexing API

Читы на индексацию

Ответы на эти вопросы, а также подробный гайд и скрипты для автоматизации Захар разместил в инструкции. Ее можно скачать по коду, представленному ниже.

скрипты для автоматизации

Читайте также:

Optimization 2022: тренды в SEO

Optimization 2022: как продвигать сайты в Юго-Восточной Азии

Optimization 2022: Data Driven SEO для роста продаж в eCommerce

Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772
Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Альманах фатальных ошибок b2b-сайта: как владельцы бизнеса обрекают сайты на бесславное существование. Часть первая
Сергей Ерофеев
3
комментария
0
читателей
Полный профиль
Сергей Ерофеев - Спасибо за комментарий! Вы правы, если за CMS следит заинтересованный профессионал - риски минимальны. Но мы же с вами понимаем, что: а) Не каждый разработчик делает все, как "для себя". б) После создания сайта разработчик редко остается на проекте в) Часто разработчик не является маркетологом. В этом случае принцип "функционал работает и этого достаточно" может быть на первом месте. Мы тоже видели большое количество хороших и качественных проектов на бесплатных CMS, но проблемных проектов мы видели сильно больше. Просто статистика.
Белые и серые методы продвижения. Тренды 2023
sarges
2
комментария
0
читателей
Полный профиль
sarges - Нужно учитывать и тот факт, что со временем методы продвижения меняются и необходимо подстраиваться под новые реалии. Посоветую заглянуть на zenlink.ru/blog/kak-izmenilsja-internet-marketing-za-10-let и почитать статью, там рассказывается о том, как изменился интернет-маркетинг за последние 10 лет, какие сейчас тенденции и какие прогнозы в этой сфере.
Почему сайтам нужно переезжать с конструкторов на полноценные CMS
Seodm.ru
3
комментария
0
читателей
Полный профиль
Seodm.ru - Ааа по мне, сам seo специалист, вероятность внедрения необходимого контента на тильда того же блока этапом работы или преимуществ, намного выше чем на движке. А что тильда что движок малый бизнес норм продвигается особо супер разработки не требуется
Как мы увеличили для клиента трафик из поиска в 7 раз. Кейс
Кирилл Половников
2
комментария
0
читателей
Полный профиль
Кирилл Половников - Оба этих статуса (редирект и малополезная) преобладали в качестве проблем с индексацией. Помогла работа с .htaccess (в нем были ошибки и его чистили), работа над корректировкой редиректов, каноникалами и прочими техническими ошибками. Нельзя сказать, что только редиректы были ключевым препятствием.
Как показывать рекламу посетителям сайтов конкурентов
Павел
2
комментария
0
читателей
Полный профиль
Павел - Спасибо за комментарий. Гипотеза была в том, что с указанными счетчиками конкурентов показы будут не просто похожей аудитории их сайтов (как при рекламе по доменам), а именно на аудиторию которую Яндекс для себя разметил как целевая дл сайтов конкурентов. Важно, это гипотеза. А про белые нитки, как говорится, доверяй, но проверяй))
Как автоматизировать мессенджеры для бизнеса в CRM-системе
Алиналина
1
комментарий
0
читателей
Полный профиль
Алиналина - Кстати да. Но мы зарегались, CRMка реально интересная
Чек-лист: как настроить рекламу в Яндекс Директе и избежать ошибок
Сергей Ильин
2
комментария
0
читателей
Полный профиль
Сергей Ильин - я ваще не туда написал
Кейс MediaNation: увеличили еженедельный трафик автомобильной компании на 50% за год и вышли в топ поиска по 300 запросам
Игорь Скляр
1
комментарий
0
читателей
Полный профиль
Игорь Скляр - Действительно, изначально рост был именно по информационным запросам. Но рост позиций и трафика по информационным запросам положительно повлиял и на связанные позиции по коммерческим запросам и сдвинул видимость с мёртвой точки
Как продвигать интернет-магазин в поисковой выдаче, если она забита маркетплейсами
Олег
1
комментарий
0
читателей
Полный профиль
Олег - Так как все-таки продвигать?)
Как попасть в топ-10 Яндекса и Google при продвижении сайта на регион Молдовы
Гость
9
комментариев
0
читателей
Полный профиль
Гость - "В первое время наши работы продолжали давать результат (сайт несколько месяцев рос), а потом начал постепенно терять позиции. По этой причине заказчик решил возобновить сотрудничество и вернулся в июле 2022. Мы еще ведем работы по восстановлению утраченных результатов." Хитрожопый клиент.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
116
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!