×
Россия +7 (495) 139-20-33

Как сделать так, чтобы страницы сайта индексировались Google

Россия +7 (495) 139-20-33
Шрифт:
0 6901
Подпишитесь на нас в Telegram

Непроиндексированный контент никогда не сможет попасть в выдачу, ведь поисковик не знает о нем. Поэтому имеет смысл разбираться в том, как решить проблемы с индексацией, а в идеале – не допускать их появления. 

Рассказываем, как добиться того, чтобы новые страницы сайта индексировались Google как можно скорее.

Все трудности с индексацией относятся к одной из трех категорий:

  1. Google не индексирует сайт целиком, ни одну из страниц. 
  2. Некоторые страницы попадают в индекс, а другие – нет.
  3. Время индексации новых страниц и контента слишком велико.

Для начала проверяем индексацию

Есть несколько способов, как это сделать. Выбирайте любой, все они в достаточной мере надежны. 

1. Можно использовать специальную команду site. Для этого введите в поисковой строке site:name.com/ где вместо name.com будет URL сайта. Так вы сможете ориентировочно узнать, сколько страниц сейчас в индексе. Таким же образом можно проверять и конкретные страницы, подставляя их полный URL. Если выдача пуста – с индексацией проблемы.

Использование команды site в поисковой строке Google

Использование команды site в поисковой строке Google

2. Можно проверить индексацию через Google Search Console (GSC). Добавьте сайт в свой аккаунт, подтвердив таким образом, что вы являетесь его владельцем. Проведите проверку индексации страниц на соответствующей вкладке. Можно посмотреть общий отчет или проверить конкретную страницу.

Проверка индексации через консоль

Проверка индексации через консоль

3. Для проверки индексации можно воспользоваться сервисами и SEO-инструментами, которые имеют такую опцию.

4. Даже Google Docs может помочь с проверкой. Если вы ставите в текстовый документ или таблицу ссылку на проиндексированную страницу, при наведении курсора на нее включается предварительный просмотр. В противном случае Google Docs его не показывает.

Если сайт полностью не в индексе, оповещаем Google о его наличии

Чтобы это сделать, можно отправить поисковику уведомление через GSC. Войдите в консоль и с помощью опции «Добавить ресурс» укажите, что у вас есть права на сайт. Собственно, добавление еще непроиндексированного сайта и будет сигналом для поисковика, что туда нужно отправить робота. 

Доступные способы подтверждения владения сайтом

Доступные способы подтверждения владения сайтом

А если не помогло?

Можно «поднажать» и подать запрос конкретно на индексацию, также через GSC. Введите URL в поисковую строку консоли и кликните «Запросить индексирование». Рекомендуется поступать так сразу после загрузки нового контента или создания новой страницы.

Тем не менее, в идеальной ситуации индексация должна автоматически происходить с определенной периодичностью. Для этого следует:

  • поставить поисковик в известность, что сайт существует; 
  • мониторить ситуацию с индексацией ресурса; 
  • проверять сайт на наличие технических ошибок и своевременно их устранять; 
  • следить за качеством контента;
  • создать в корневом каталоге карту сайта Sitemap.xml (лучше всего – динамическую), и указать через GSC, где она располагается; 
  • расширять ссылочный профиль сайта за счет ссылок с качественных проиндексированных ресурсов.

Облегчить работу владельцу сайта может использование Google Indexing API. Этот инструмент позволяет бесплатно отправлять уведомление поисковикам о наличии изменений на сайте. С его помощью можно запустить процесс индексации. Если же проводить его через карту сайта, то это займет больше времени, чем по API, однако сам процесс будет более тщательным.

А если и это не помогло? Что мешает индексации?

Порой проблема оказывается глубже, и простой отправкой запроса на индексацию ее не решить. Google может игнорировать ваш сайт по двум независимым друг от друга причинам:

  1. На вашем ресурсе есть технические ошибки, которые препятствуют работе поисковых роботов.
  2. Поисковик не вносит отдельные страницы или весь сайт целиком в индекс, поскольку считает, что контент, находящийся там, не несет практической пользы для аудитории.

Следует обнаружить причину проблемы и устранить ее как можно скорее – для этого лучше действовать методом исключения, по очереди проверяя возможные варианты.

Файл robots.txt

Данный файл отвечает за управление роботами на вашем сайте – в том числе и поисковыми. Если в нем присутствует запрет на посещение страницы, она будет недоступна для индексации. Это же верно и в отношении всего сайта. GSC отмечает подобные запреты, поэтому вы легко сможете обнаружить их через консоль в разделе «Индексирование страниц». Сервис известит вас о запрете на сканирование в файле robots.txt и вы сможете снять его вручную, убрав правила «disallow». Также Google может провести деиндексацию сайта, если файл отдает ответ сервера 500.

Раздел «Индексирование страниц» в консоли

Раздел «Индексирование страниц» в консоли

Теги noindex

Если на странице стоит запрещающий тег, поисковые роботы не будут посещать ее – или будут, но без добавления в индекс. В GSC есть инструмент URL Inspection, с помощью которого вы можете узнать, какие страницы блокируют сканирование. Воспользуйтесь аудитом сайта от Ahrefs, чтобы убедиться, что на этих страницах нет тега robots со значением noindex или заголовка X-Robots-Tag. 

Данный результат свидетельствует о наличии запрещающего тега

Данный результат свидетельствует о наличии запрещающего тега

Точность файла Sitemap 

Если вы добавите страницу в карту сайта, шансы на ее индексацию возрастут. Понять, каких страниц не хватает в Sitemap, поможет GSC. Старайтесь, чтобы файл не превышал по объему 10 Мб, и каждый раз после обновления добавляйте его в консоль. В то же время помните, что данный метод не является панацеей при наличии других более серьезных проблем.

Канонические страницы

Данный тег информирует поисковик о существовании канонической версии страницы и выглядит так: < link rel="canonical" href="/page.html"/ >. Большинство страниц не имеют такого тега либо имеют самоссылающийся тег, указывающий, что они канонические. Неправильный тег может направить Google на несуществующую страницу, и нужный документ не будет проиндексирован. В инструменте проверки URL Google о такой проблеме информируют предупреждения, относящиеся к каноническим адресам. Если страница содержит такой тег, проверьте, на что он ссылается. 

Файл Sitemap также используется для определения того, какой адрес URL следует считать каноническим для определенного фрагмента контента. Если в файле карты сайта указан один URL, а перенаправление идет на другой, это создает противоречие. 

Консоль позволяет обнаружить проблему с определением канонических страниц

Консоль позволяет обнаружить проблему с определением канонических страниц

Отсутствие внутренней перелинковки

Хорошей считается такая структура сайта, когда каждая страница доступна для сканирования и индексации, имеет уникальный URL-адрес и может быть доступна с помощью < a href="" > внутренних ссылок между страницами, указaнными в исходном HTML. 

Проверьте, нет ли на вашем ресурсе страниц-сирот, которые не связаны ни с одной другой страницей или разделом. Найти их можно благодаря ряду программ, например, Netpeak Spider. Если вы пренебрегаете внутренними ссылками, поисковик может не найти некоторые страницы. Если хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых посещаемых страниц – их сканируют чаще.

Nofollow-ссылки

Убедитесь, что внутренние ссылки на индексируемые страницы не имеют атрибута nofollow. Дело в том, что ссылки с атрибутом rel="nofollow" предотвращают передачу показателя PageRank, и Google их не сканирует.

Низкая ценность страницы

Контент должен быть как минимум уникальным, в противном случае индексироваться корректно он вряд ли будет. Также для Google важно, чтобы страница была ценной для пользователя. Так, если с технической стороной все в порядке, но страница все равно не индексируется, очень может быть, что поисковик этой ценности не видит. 

Google определяет ее по совокупности факторов E-E-A-T (опыт – экспертность – авторитетность – доверие). Поэтому любые материалы должны быть релевантными, актуальными, подкрепленными источниками и написанными экспертами. Регулярное обновление и дополнение материалов также служит для поисковика верным сигналом, что материал ценен для аудитории. 

Проверяйте качество страниц, которые не индексируются, улучшайте и дорабатывайте их, после чего повторно запрашивайте индексацию через GSC. Также анализируйте поисковый интент пользователей – возможно, вы создали страницу, содержание которой в принципе не востребовано вашей потенциальной аудиторией, и Google не видит смысла ее индексировать.

Дублирование страниц

Иногда возникают страницы, идентичные по содержанию. Причиной тому может быть автоматическая генерация, какие-либо структурные ошибки. Также при неправильной разбивке кластера на две страницы могут возникнуть дубли. Их наличие сигнализирует поисковику о низком качестве сайта и контента, поэтому их появления следует всеми силами избегать. Если на вашем ресурсе много схожих страниц, добавьте определенную рандомизацию, чтобы разнообразить их. Как вариант – отдайте тексты на рерайт или используйте для уникализации ChatGPT.

Отсутствие трафика

На вашем сайте могут быть страницы, которые не имеют трафика. Если их накапливается слишком много, они ухудшают средние показатели ресурса. На некоторых контентных сайтах структура способствует тому, что при перенаправлении потоков пользователей возникают страницы, на которые люди в принципе не попадают. Имеет смысл провести чистку и удалить такие страницы – в этом случае есть вероятность, что вы избавитесь от проблем с индексацией.

Нехватка входящих ссылок

Если на ваш сайт ссылаются – это хороший знак для Google и повод провести более быструю индексацию. Чем больше ссылок на ресурс, тем выше его важность для пользователей по мнению поисковика. Однако ссылающиеся сайты должны быть качественными – иметь соответствующую тематику, высокий трафик и показатели траста. 

Google активно борется со ссылочным спамом и поощряет именно простановку ссылок с авторитетных и релевантных ресурсов. Поэтому для ускорения индексации лучше пользоваться проверенными ссылочными сервисами, чтобы быть уверенными, что вы принесете продвигаемому сайту пользу, закупив входящие ссылки. 

Также для ускорения индексации вы можете воспользоваться многоуровневой ссылочной стратегией Tier 2. Закупив бэклинки на сайт, который уже ссылается на вас, вы увеличите активность поисковых роботов, и они быстрее проиндексируют ваш ресурс. Также вы можете привлечь ссылки из социальных сетей на те страницы, которые нуждаются в индексации.

Подытожим

Индексация сайтов имеет первостепенное значение при продвижении. Чем быстрее ресурс окажется в реестре Google, тем скорее станет заметен эффект от оптимизации. Проверяйте сайт на наличие проблем с индексацией, используя приведенные выше рекомендации, и своевременно устраняйте их, чтобы результативно продвигаться в топ.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
28 способов повысить конверсию интернет-магазина
Татьяна
1
комментарий
0
читателей
Полный профиль
Татьяна - Очень действенные рекомендации представлены в статье! Всё четко расписано и легко внедряемо в работу интернет-магазинов.Удобство и наглядность+различные бонусы и скидки-именно то, что и цепляет покупателя.
5 способов увидеть сайт глазами поисковика: анализируем скрытый контент и cloaking
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Сейчас клоаку прячут, так что под нее можно глянуть только с гуггловских ip. Сейчас только гуггл сервисами можно глянуть
7 актуальных сервисов для анализа сайта: сравнительная характеристика
Jenimeon
1
комментарий
0
читателей
Полный профиль
Jenimeon - SimilarWeb один из моих фаворитов, частенько им пользуюсь. Ценник не малый, но функционал хороший. Be1 тоже годный.
Какие сайты лидировали в поиске Яндекса и Google в 2023 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если что по рейтингу вы не правы, есть ядро по которому производиться оценка и вы можете по нему самостоятельно все посмотреть. Единственный объективный рейтинг по SEO. Других не знаю Ну я вам скажу что это не так и в предыдущие года сайт моего клиента попадал в рейтинг, при чем несколько раз. И я прекрасно знал еще до объявления результатов кто лидер - рейтинг прозрачный, есть фразы по которым набираются баллы. В этом году наш сайт не попал в рейтинг например и это было понятно, что не попадет (по статистике позиций)
Как онлайн-магазинам получать максимум трафика с помощью Поиска по товарам Яндекса
Гость из Тюмени
1
комментарий
0
читателей
Полный профиль
Гость из Тюмени - Производим пиломатериалы под заказ, от 1 до 14 дней. Яндекс постоянно банит наш яндекс фид по причине отсутствия товара на складе во время своих тайных проверок. Не возможно донести до модератора, что мы работаем под заказ, поэтому товара нет на складе, т.е. пришёл заказ - мы изготовили.
Создали ресурс для металлургов, который позволяет следить за аналитикой рынка и осуществлять продажи
Наталья Сталь
3
комментария
0
читателей
Полный профиль
Наталья Сталь -
Optimization 2023: текстовый анализ в 2024 году и методы увеличения релевантности страниц
Игорь
1
комментарий
0
читателей
Полный профиль
Игорь - это информация максимум уровня middle seo. что такой проходняк делает в секции hard seo когда-то великой ашмановки, еще и в исполнении токсичного инфоцыгана большая загадка)) ходил последние 5 лет на нее, но больше пожалуй не стоит
5 ошибок отдела продаж, из-за которых вы теряете клиентов
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - Крутая статья! Можно еще указать: Работу без CRM-системы - я считаю, что это основа отдела продаж. Потому что не все компании решаются на внедрение отдельно системы для отдела продаж. Но зато можно что то многофункциональное внедрить аспро.клауд или что то подобное
Увеличили трафик в 4 раза с помощью узких ключей и контентного SEO: кейс ОТП Банка
Бурлуцкий Сергей
1
комментарий
0
читателей
Полный профиль
Бурлуцкий Сергей - В работе по ссылочному делаем упор по получению естественных ссылок в сочетании с краудом. Более подробно об этом мы рассказывали на нашем недавнем митапе - www.youtube.com/watch?v=dbl_vFHWqWQ (Второй доклад).
Простые SEO-работы, которые могут увеличить прибыль компании. Часть 1
roma.lisov
1
комментарий
0
читателей
Полный профиль
roma.lisov - Воспользовался советом по проверке и настройке картинок на сайте – реально дельный совет. Вот вроде и просто, казалось бы, а мне в голову раньше не пришло. А такие нюансы, конечно, нужно знать)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
386
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
120
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!