Google рассказал, как коды состояния HTTP и ошибки сети и DNS влияют на сайты в поиске

Google опубликовал справочный документ, в котором объяснил, как коды состояния HTTP, ошибки сети и DNS влияют на представленность сайтов в поиске. Документ пока доступен только на английском языке и охватывает несколько разделов. 

Раздел, посвященный кодам состояния HTTP, рассказывает, какие существуют коды и объясняет, как эти коды обрабатывает Googlebot. 

• Коды со статусом 2XX предполагают, что Google рассмотрит контент для индексации. При этом стоит иметь в виду, что код 200 не гарантирует, что поисковик проиндексирует страницу. 
• Код ответа сервера 3ХХ связан с перенаправлением. Googlebot может выполнять до 10 переходов по цепочке редиректов. Если в течение 10 переходов системе не удастся получить контент, Search Console покажет ошибку в отчете об индексировании сайта. Количество переходов, которые выполняет Googlebot по редиректам зависит от user agent. 
• URL-адреса, которые возвращают код 4ХХ, не индексируются, а страницы, которые были проиндексированы ранее и стали возвращать код 4ХХ, удаляются из индекса. 
• Ошибки 5ХХ и 429 приводят к тому, что Google временно замедляет сканирование этих страниц. Проиндексированные URL сохраняются в индексе, но при сохранении ошибки могут быть удалены. 

Ошибки сети и DNS негативно влияют на присутствии сайтов в Поиске. Googlebot обрабатывает ошибки сброса подключения, долгое время выполнения запроса и ошибки DNS аналогично ошибкам ответа сервера 5ХХ. 

В случае сетевых ошибок замедляется сканирование сайта. Проиндексированные URL, которые стали недоступны, удаляются из индекса Google в течение нескольких дней. Для каждой ошибки формируется уведомление в Search Console. 

Подробнее ознакомиться с документом и узнать, как Google обрабатывает каждую ошибку, можно по ссылке. 

Напомним, ранее Google сообщил, что начнет уведомлять о недостатке достоверной информации в поиске. 

Источник: Search Engine Land