Как сделать так, чтобы страницы сайта индексировались Google

Александр Шестаков

Руководитель направления ссылочных продуктов Links.Sape

Рассказываем, как добиться того, чтобы новые страницы сайта индексировались Google как можно скорее.

Все трудности с индексацией относятся к одной из трех категорий:

1. Google не индексирует сайт целиком, ни одну из страниц. 
2. Некоторые страницы попадают в индекс, а другие – нет.
3. Время индексации новых страниц и контента слишком велико.

Для начала проверяем индексацию

Есть несколько способов, как это сделать. Выбирайте любой, все они в достаточной мере надежны. 

1. Можно использовать специальную команду site. Для этого введите в поисковой строке site:name.com/ где вместо name.com будет URL сайта. Так вы сможете ориентировочно узнать, сколько страниц сейчас в индексе. Таким же образом можно проверять и конкретные страницы, подставляя их полный URL. Если выдача пуста – с индексацией проблемы.

Использование команды site в поисковой строке Google

2. Можно проверить индексацию через Google Search Console (GSC). Добавьте сайт в свой аккаунт, подтвердив таким образом, что вы являетесь его владельцем. Проведите проверку индексации страниц на соответствующей вкладке. Можно посмотреть общий отчет или проверить конкретную страницу.

Проверка индексации через консоль

3. Для проверки индексации можно воспользоваться сервисами и SEO-инструментами, которые имеют такую опцию.

4. Даже Google Docs может помочь с проверкой. Если вы ставите в текстовый документ или таблицу ссылку на проиндексированную страницу, при наведении курсора на нее включается предварительный просмотр. В противном случае Google Docs его не показывает.

Если сайт полностью не в индексе, оповещаем Google о его наличии

Чтобы это сделать, можно отправить поисковику уведомление через GSC. Войдите в консоль и с помощью опции «Добавить ресурс» укажите, что у вас есть права на сайт. Собственно, добавление еще непроиндексированного сайта и будет сигналом для поисковика, что туда нужно отправить робота. 

Доступные способы подтверждения владения сайтом

А если не помогло?

Можно «поднажать» и подать запрос конкретно на индексацию, также через GSC. Введите URL в поисковую строку консоли и кликните «Запросить индексирование». Рекомендуется поступать так сразу после загрузки нового контента или создания новой страницы.

Тем не менее, в идеальной ситуации индексация должна автоматически происходить с определенной периодичностью. Для этого следует:

• поставить поисковик в известность, что сайт существует; 
• мониторить ситуацию с индексацией ресурса; 
• проверять сайт на наличие технических ошибок и своевременно их устранять; 
• следить за качеством контента;
• создать в корневом каталоге карту сайта Sitemap.xml (лучше всего – динамическую), и указать через GSC, где она располагается; 
• расширять ссылочный профиль сайта за счет ссылок с качественных проиндексированных ресурсов.

Облегчить работу владельцу сайта может использование Google Indexing API. Этот инструмент позволяет бесплатно отправлять уведомление поисковикам о наличии изменений на сайте. С его помощью можно запустить процесс индексации. Если же проводить его через карту сайта, то это займет больше времени, чем по API, однако сам процесс будет более тщательным.

А если и это не помогло? Что мешает индексации?

Порой проблема оказывается глубже, и простой отправкой запроса на индексацию ее не решить. Google может игнорировать ваш сайт по двум независимым друг от друга причинам:

1. На вашем ресурсе есть технические ошибки, которые препятствуют работе поисковых роботов.
2. Поисковик не вносит отдельные страницы или весь сайт целиком в индекс, поскольку считает, что контент, находящийся там, не несет практической пользы для аудитории.

Следует обнаружить причину проблемы и устранить ее как можно скорее – для этого лучше действовать методом исключения, по очереди проверяя возможные варианты.

Файл robots.txt

Данный файл отвечает за управление роботами на вашем сайте – в том числе и поисковыми. Если в нем присутствует запрет на посещение страницы, она будет недоступна для индексации. Это же верно и в отношении всего сайта. GSC отмечает подобные запреты, поэтому вы легко сможете обнаружить их через консоль в разделе «Индексирование страниц». Сервис известит вас о запрете на сканирование в файле robots.txt и вы сможете снять его вручную, убрав правила «disallow». Также Google может провести деиндексацию сайта, если файл отдает ответ сервера 500.

Раздел «Индексирование страниц» в консоли

Теги noindex

Если на странице стоит запрещающий тег, поисковые роботы не будут посещать ее – или будут, но без добавления в индекс. В GSC есть инструмент URL Inspection, с помощью которого вы можете узнать, какие страницы блокируют сканирование. Воспользуйтесь аудитом сайта от Ahrefs, чтобы убедиться, что на этих страницах нет тега robots со значением noindex или заголовка X-Robots-Tag. 

Данный результат свидетельствует о наличии запрещающего тега

Точность файла Sitemap 

Если вы добавите страницу в карту сайта, шансы на ее индексацию возрастут. Понять, каких страниц не хватает в Sitemap, поможет GSC. Старайтесь, чтобы файл не превышал по объему 10 Мб, и каждый раз после обновления добавляйте его в консоль. В то же время помните, что данный метод не является панацеей при наличии других более серьезных проблем.

Канонические страницы

Данный тег информирует поисковик о существовании канонической версии страницы и выглядит так: < link rel="canonical" href="/page.html"/ >. Большинство страниц не имеют такого тега либо имеют самоссылающийся тег, указывающий, что они канонические. Неправильный тег может направить Google на несуществующую страницу, и нужный документ не будет проиндексирован. В инструменте проверки URL Google о такой проблеме информируют предупреждения, относящиеся к каноническим адресам. Если страница содержит такой тег, проверьте, на что он ссылается. 

Файл Sitemap также используется для определения того, какой адрес URL следует считать каноническим для определенного фрагмента контента. Если в файле карты сайта указан один URL, а перенаправление идет на другой, это создает противоречие. 

Консоль позволяет обнаружить проблему с определением канонических страниц

Отсутствие внутренней перелинковки

Хорошей считается такая структура сайта, когда каждая страница доступна для сканирования и индексации, имеет уникальный URL-адрес и может быть доступна с помощью < a href="" > внутренних ссылок между страницами, указaнными в исходном HTML. 

Проверьте, нет ли на вашем ресурсе страниц-сирот, которые не связаны ни с одной другой страницей или разделом. Найти их можно благодаря ряду программ, например, Netpeak Spider. Если вы пренебрегаете внутренними ссылками, поисковик может не найти некоторые страницы. Если хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых посещаемых страниц – их сканируют чаще.

Nofollow-ссылки

Убедитесь, что внутренние ссылки на индексируемые страницы не имеют атрибута nofollow. Дело в том, что ссылки с атрибутом rel="nofollow" предотвращают передачу показателя PageRank, и Google их не сканирует.

Низкая ценность страницы

Контент должен быть как минимум уникальным, в противном случае индексироваться корректно он вряд ли будет. Также для Google важно, чтобы страница была ценной для пользователя. Так, если с технической стороной все в порядке, но страница все равно не индексируется, очень может быть, что поисковик этой ценности не видит. 

Google определяет ее по совокупности факторов E-E-A-T (опыт – экспертность – авторитетность – доверие). Поэтому любые материалы должны быть релевантными, актуальными, подкрепленными источниками и написанными экспертами. Регулярное обновление и дополнение материалов также служит для поисковика верным сигналом, что материал ценен для аудитории. 

Проверяйте качество страниц, которые не индексируются, улучшайте и дорабатывайте их, после чего повторно запрашивайте индексацию через GSC. Также анализируйте поисковый интент пользователей – возможно, вы создали страницу, содержание которой в принципе не востребовано вашей потенциальной аудиторией, и Google не видит смысла ее индексировать.

Дублирование страниц

Иногда возникают страницы, идентичные по содержанию. Причиной тому может быть автоматическая генерация, какие-либо структурные ошибки. Также при неправильной разбивке кластера на две страницы могут возникнуть дубли. Их наличие сигнализирует поисковику о низком качестве сайта и контента, поэтому их появления следует всеми силами избегать. Если на вашем ресурсе много схожих страниц, добавьте определенную рандомизацию, чтобы разнообразить их. Как вариант – отдайте тексты на рерайт или используйте для уникализации ChatGPT.

Отсутствие трафика

На вашем сайте могут быть страницы, которые не имеют трафика. Если их накапливается слишком много, они ухудшают средние показатели ресурса. На некоторых контентных сайтах структура способствует тому, что при перенаправлении потоков пользователей возникают страницы, на которые люди в принципе не попадают. Имеет смысл провести чистку и удалить такие страницы – в этом случае есть вероятность, что вы избавитесь от проблем с индексацией.

Нехватка входящих ссылок

Если на ваш сайт ссылаются – это хороший знак для Google и повод провести более быструю индексацию. Чем больше ссылок на ресурс, тем выше его важность для пользователей по мнению поисковика. Однако ссылающиеся сайты должны быть качественными – иметь соответствующую тематику, высокий трафик и показатели траста. 

Google активно борется со ссылочным спамом и поощряет именно простановку ссылок с авторитетных и релевантных ресурсов. Поэтому для ускорения индексации лучше пользоваться проверенными ссылочными сервисами, чтобы быть уверенными, что вы принесете продвигаемому сайту пользу, закупив входящие ссылки. 

Также для ускорения индексации вы можете воспользоваться многоуровневой ссылочной стратегией Tier 2. Закупив бэклинки на сайт, который уже ссылается на вас, вы увеличите активность поисковых роботов, и они быстрее проиндексируют ваш ресурс. Также вы можете привлечь ссылки из социальных сетей на те страницы, которые нуждаются в индексации.

Подытожим

Индексация сайтов имеет первостепенное значение при продвижении. Чем быстрее ресурс окажется в реестре Google, тем скорее станет заметен эффект от оптимизации. Проверяйте сайт на наличие проблем с индексацией, используя приведенные выше рекомендации, и своевременно устраняйте их, чтобы результативно продвигаться в топ.