×
Россия +7 (495) 139-20-33

Как сделать так, чтобы страницы сайта индексировались Google

Россия +7 (495) 139-20-33
Шрифт:
0 7277
Подпишитесь на нас в Telegram

Непроиндексированный контент никогда не сможет попасть в выдачу, ведь поисковик не знает о нем. Поэтому имеет смысл разбираться в том, как решить проблемы с индексацией, а в идеале – не допускать их появления. 

Рассказываем, как добиться того, чтобы новые страницы сайта индексировались Google как можно скорее.

Все трудности с индексацией относятся к одной из трех категорий:

  1. Google не индексирует сайт целиком, ни одну из страниц. 
  2. Некоторые страницы попадают в индекс, а другие – нет.
  3. Время индексации новых страниц и контента слишком велико.

Для начала проверяем индексацию

Есть несколько способов, как это сделать. Выбирайте любой, все они в достаточной мере надежны. 

1. Можно использовать специальную команду site. Для этого введите в поисковой строке site:name.com/ где вместо name.com будет URL сайта. Так вы сможете ориентировочно узнать, сколько страниц сейчас в индексе. Таким же образом можно проверять и конкретные страницы, подставляя их полный URL. Если выдача пуста – с индексацией проблемы.

Использование команды site в поисковой строке Google

Использование команды site в поисковой строке Google

2. Можно проверить индексацию через Google Search Console (GSC). Добавьте сайт в свой аккаунт, подтвердив таким образом, что вы являетесь его владельцем. Проведите проверку индексации страниц на соответствующей вкладке. Можно посмотреть общий отчет или проверить конкретную страницу.

Проверка индексации через консоль

Проверка индексации через консоль

3. Для проверки индексации можно воспользоваться сервисами и SEO-инструментами, которые имеют такую опцию.

4. Даже Google Docs может помочь с проверкой. Если вы ставите в текстовый документ или таблицу ссылку на проиндексированную страницу, при наведении курсора на нее включается предварительный просмотр. В противном случае Google Docs его не показывает.

Если сайт полностью не в индексе, оповещаем Google о его наличии

Чтобы это сделать, можно отправить поисковику уведомление через GSC. Войдите в консоль и с помощью опции «Добавить ресурс» укажите, что у вас есть права на сайт. Собственно, добавление еще непроиндексированного сайта и будет сигналом для поисковика, что туда нужно отправить робота. 

Доступные способы подтверждения владения сайтом

Доступные способы подтверждения владения сайтом

А если не помогло?

Можно «поднажать» и подать запрос конкретно на индексацию, также через GSC. Введите URL в поисковую строку консоли и кликните «Запросить индексирование». Рекомендуется поступать так сразу после загрузки нового контента или создания новой страницы.

Тем не менее, в идеальной ситуации индексация должна автоматически происходить с определенной периодичностью. Для этого следует:

  • поставить поисковик в известность, что сайт существует; 
  • мониторить ситуацию с индексацией ресурса; 
  • проверять сайт на наличие технических ошибок и своевременно их устранять; 
  • следить за качеством контента;
  • создать в корневом каталоге карту сайта Sitemap.xml (лучше всего – динамическую), и указать через GSC, где она располагается; 
  • расширять ссылочный профиль сайта за счет ссылок с качественных проиндексированных ресурсов.

Облегчить работу владельцу сайта может использование Google Indexing API. Этот инструмент позволяет бесплатно отправлять уведомление поисковикам о наличии изменений на сайте. С его помощью можно запустить процесс индексации. Если же проводить его через карту сайта, то это займет больше времени, чем по API, однако сам процесс будет более тщательным.

А если и это не помогло? Что мешает индексации?

Порой проблема оказывается глубже, и простой отправкой запроса на индексацию ее не решить. Google может игнорировать ваш сайт по двум независимым друг от друга причинам:

  1. На вашем ресурсе есть технические ошибки, которые препятствуют работе поисковых роботов.
  2. Поисковик не вносит отдельные страницы или весь сайт целиком в индекс, поскольку считает, что контент, находящийся там, не несет практической пользы для аудитории.

Следует обнаружить причину проблемы и устранить ее как можно скорее – для этого лучше действовать методом исключения, по очереди проверяя возможные варианты.

Файл robots.txt

Данный файл отвечает за управление роботами на вашем сайте – в том числе и поисковыми. Если в нем присутствует запрет на посещение страницы, она будет недоступна для индексации. Это же верно и в отношении всего сайта. GSC отмечает подобные запреты, поэтому вы легко сможете обнаружить их через консоль в разделе «Индексирование страниц». Сервис известит вас о запрете на сканирование в файле robots.txt и вы сможете снять его вручную, убрав правила «disallow». Также Google может провести деиндексацию сайта, если файл отдает ответ сервера 500.

Раздел «Индексирование страниц» в консоли

Раздел «Индексирование страниц» в консоли

Теги noindex

Если на странице стоит запрещающий тег, поисковые роботы не будут посещать ее – или будут, но без добавления в индекс. В GSC есть инструмент URL Inspection, с помощью которого вы можете узнать, какие страницы блокируют сканирование. Воспользуйтесь аудитом сайта от Ahrefs, чтобы убедиться, что на этих страницах нет тега robots со значением noindex или заголовка X-Robots-Tag. 

Данный результат свидетельствует о наличии запрещающего тега

Данный результат свидетельствует о наличии запрещающего тега

Точность файла Sitemap 

Если вы добавите страницу в карту сайта, шансы на ее индексацию возрастут. Понять, каких страниц не хватает в Sitemap, поможет GSC. Старайтесь, чтобы файл не превышал по объему 10 Мб, и каждый раз после обновления добавляйте его в консоль. В то же время помните, что данный метод не является панацеей при наличии других более серьезных проблем.

Канонические страницы

Данный тег информирует поисковик о существовании канонической версии страницы и выглядит так: < link rel="canonical" href="/page.html"/ >. Большинство страниц не имеют такого тега либо имеют самоссылающийся тег, указывающий, что они канонические. Неправильный тег может направить Google на несуществующую страницу, и нужный документ не будет проиндексирован. В инструменте проверки URL Google о такой проблеме информируют предупреждения, относящиеся к каноническим адресам. Если страница содержит такой тег, проверьте, на что он ссылается. 

Файл Sitemap также используется для определения того, какой адрес URL следует считать каноническим для определенного фрагмента контента. Если в файле карты сайта указан один URL, а перенаправление идет на другой, это создает противоречие. 

Консоль позволяет обнаружить проблему с определением канонических страниц

Консоль позволяет обнаружить проблему с определением канонических страниц

Отсутствие внутренней перелинковки

Хорошей считается такая структура сайта, когда каждая страница доступна для сканирования и индексации, имеет уникальный URL-адрес и может быть доступна с помощью < a href="" > внутренних ссылок между страницами, указaнными в исходном HTML. 

Проверьте, нет ли на вашем ресурсе страниц-сирот, которые не связаны ни с одной другой страницей или разделом. Найти их можно благодаря ряду программ, например, Netpeak Spider. Если вы пренебрегаете внутренними ссылками, поисковик может не найти некоторые страницы. Если хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых посещаемых страниц – их сканируют чаще.

Nofollow-ссылки

Убедитесь, что внутренние ссылки на индексируемые страницы не имеют атрибута nofollow. Дело в том, что ссылки с атрибутом rel="nofollow" предотвращают передачу показателя PageRank, и Google их не сканирует.

Низкая ценность страницы

Контент должен быть как минимум уникальным, в противном случае индексироваться корректно он вряд ли будет. Также для Google важно, чтобы страница была ценной для пользователя. Так, если с технической стороной все в порядке, но страница все равно не индексируется, очень может быть, что поисковик этой ценности не видит. 

Google определяет ее по совокупности факторов E-E-A-T (опыт – экспертность – авторитетность – доверие). Поэтому любые материалы должны быть релевантными, актуальными, подкрепленными источниками и написанными экспертами. Регулярное обновление и дополнение материалов также служит для поисковика верным сигналом, что материал ценен для аудитории. 

Проверяйте качество страниц, которые не индексируются, улучшайте и дорабатывайте их, после чего повторно запрашивайте индексацию через GSC. Также анализируйте поисковый интент пользователей – возможно, вы создали страницу, содержание которой в принципе не востребовано вашей потенциальной аудиторией, и Google не видит смысла ее индексировать.

Дублирование страниц

Иногда возникают страницы, идентичные по содержанию. Причиной тому может быть автоматическая генерация, какие-либо структурные ошибки. Также при неправильной разбивке кластера на две страницы могут возникнуть дубли. Их наличие сигнализирует поисковику о низком качестве сайта и контента, поэтому их появления следует всеми силами избегать. Если на вашем ресурсе много схожих страниц, добавьте определенную рандомизацию, чтобы разнообразить их. Как вариант – отдайте тексты на рерайт или используйте для уникализации ChatGPT.

Отсутствие трафика

На вашем сайте могут быть страницы, которые не имеют трафика. Если их накапливается слишком много, они ухудшают средние показатели ресурса. На некоторых контентных сайтах структура способствует тому, что при перенаправлении потоков пользователей возникают страницы, на которые люди в принципе не попадают. Имеет смысл провести чистку и удалить такие страницы – в этом случае есть вероятность, что вы избавитесь от проблем с индексацией.

Нехватка входящих ссылок

Если на ваш сайт ссылаются – это хороший знак для Google и повод провести более быструю индексацию. Чем больше ссылок на ресурс, тем выше его важность для пользователей по мнению поисковика. Однако ссылающиеся сайты должны быть качественными – иметь соответствующую тематику, высокий трафик и показатели траста. 

Google активно борется со ссылочным спамом и поощряет именно простановку ссылок с авторитетных и релевантных ресурсов. Поэтому для ускорения индексации лучше пользоваться проверенными ссылочными сервисами, чтобы быть уверенными, что вы принесете продвигаемому сайту пользу, закупив входящие ссылки. 

Также для ускорения индексации вы можете воспользоваться многоуровневой ссылочной стратегией Tier 2. Закупив бэклинки на сайт, который уже ссылается на вас, вы увеличите активность поисковых роботов, и они быстрее проиндексируют ваш ресурс. Также вы можете привлечь ссылки из социальных сетей на те страницы, которые нуждаются в индексации.

Подытожим

Индексация сайтов имеет первостепенное значение при продвижении. Чем быстрее ресурс окажется в реестре Google, тем скорее станет заметен эффект от оптимизации. Проверяйте сайт на наличие проблем с индексацией, используя приведенные выше рекомендации, и своевременно устраняйте их, чтобы результативно продвигаться в топ.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Накрутка поведенческих факторов: дорого, сложно, но можно. Если очень хочется
Oleg_bobr2012
1
комментарий
0
читателей
Полный профиль
Oleg_bobr2012 - Мда...Может Анне сразу в Яндекс написать кейсы по накрутке ПФ. Я бы такого сотрудника гнал вон.
28 способов повысить конверсию интернет-магазина
Татьяна
1
комментарий
0
читателей
Полный профиль
Татьяна - Очень действенные рекомендации представлены в статье! Всё четко расписано и легко внедряемо в работу интернет-магазинов.Удобство и наглядность+различные бонусы и скидки-именно то, что и цепляет покупателя.
Создали ресурс для металлургов, который позволяет следить за аналитикой рынка и осуществлять продажи
Наталья Сталь
3
комментария
0
читателей
Полный профиль
Наталья Сталь -
Какие сайты лидировали в поиске Яндекса и Google в 2023 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если что по рейтингу вы не правы, есть ядро по которому производиться оценка и вы можете по нему самостоятельно все посмотреть. Единственный объективный рейтинг по SEO. Других не знаю Ну я вам скажу что это не так и в предыдущие года сайт моего клиента попадал в рейтинг, при чем несколько раз. И я прекрасно знал еще до объявления результатов кто лидер - рейтинг прозрачный, есть фразы по которым набираются баллы. В этом году наш сайт не попал в рейтинг например и это было понятно, что не попадет (по статистике позиций)
5 способов увидеть сайт глазами поисковика: анализируем скрытый контент и cloaking
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Сейчас клоаку прячут, так что под нее можно глянуть только с гуггловских ip. Сейчас только гуггл сервисами можно глянуть
Михаил Сливинский (Яндекс): об алгоритмах качества в поиске, сгенерированных текстах и накрутке ПФ
Анна Макарова
388
комментариев
0
читателей
Полный профиль
Анна Макарова - Интересно, из каких именно слов Михаила, вы сделали такой вывод?
Optimization 2023: текстовый анализ в 2024 году и методы увеличения релевантности страниц
Игорь
1
комментарий
0
читателей
Полный профиль
Игорь - это информация максимум уровня middle seo. что такой проходняк делает в секции hard seo когда-то великой ашмановки, еще и в исполнении токсичного инфоцыгана большая загадка)) ходил последние 5 лет на нее, но больше пожалуй не стоит
5 ошибок отдела продаж, из-за которых вы теряете клиентов
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Крутая статья! Можно еще указать: Работу без CRM-системы - я считаю, что это основа отдела продаж. Потому что не все компании решаются на внедрение отдельно системы для отдела продаж. Но зато можно что то многофункциональное внедрить аспро.клауд или что то подобное
Контекстная реклама, таргет и SEO вошли в топ-3 каналов продвижения бизнеса в 2023 году
Сергей
1
комментарий
0
читателей
Полный профиль
Сергей - Например, так {censored} - продвижение карточки в органике Google :) Также в Яндекс.Директ есть направление контекста для маркетплейсов.
Как продвигать сайт на Tilda: особенности продвижения и рекомендации специалистов
Konstantin Bulgakov
15
комментариев
0
читателей
Полный профиль
Konstantin Bulgakov - Спасибо за рекомендации, полезно. Но кажется, что тематика в кейсе не самая конкурентная + часть запросов в продвижение брендовые, там и без сео позиции будут в топе.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
388
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
120
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!