Google рассказал, когда ошибка 500 может привести к выпадению страниц из индекса

Сотрудник Google Джон Мюллер ответил на вопрос, как ошибка 500 может повлиять на индексацию страниц сайта. Мюллер назвал ситуации, при которых ошибка 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google. 

Посмотреть ответ Мюллера можно на видео, начиная с отметки 13:48: 

Один из вебмастеров во время онлайн-встречи с Джоном Мюллером рассказал, что на их сайте была настроена система, которая блокировала «плохих ботов». Все работало нормально, но после обновления все настройки слетели. Через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на сканирование Googlebot. Вебмастер поинтересовался у Мюллера, как это могло повлиять на видимость сайта в поиске Google. 

Мюллер перечислил шаги, как поисковик реагирует на ошибку 500. Если Googlebot сталкивается с кодом ответа сервера 500, то старается попасть на страницы снова и снова. Если ошибка все еще имеет место быть, Google замедляет сканирование. Если спустя время ошибка 500 не исчезает, поисковик удаляет URL-адреса с ошибками из индекса. 

Если время от времени на отдельных страницах появляется ошибка 500, в этом нет ничего страшного. Мы попробуем зайти на эти страницы снова, они останутся в индексе. 

Далее Мюллер объяснил, что одна из причин, почему Googlebot замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. Также Мюллер добавил, что у поисковика нет жестких значений, при которых Google решает, что сделано много запросов, получено много ошибок, значит, пора замедлять сканирование. 

Напомним, ранее Джон Мюллер рассказал, что Google отфильтровывает не весь бот-трафик в Search Console. 

Источник: Search Engine Journal