Google подробнее рассказал о работе нового Googlebot

Сотрудники Google Мартин Сплитт (Martin Splitt) и Гэри Илш (Gary Illyes) поделились подробностями о новом Googlebot, который будет всегда работать на основе последней версии Chromium – движка, на основе которого работает Google Chrome, Opera, Яндекс и другие браузеры.

Старый агент пользователя с новыми возможностями

Запуск нового Googlebot начался еще в ноябре, но пользователи ничего не заметили из-за того, что он существовал под старым агентом пользователя. Несмотря на свое название (Chrome 41), агент пользователя, использующий новый Googlebot, работает на базе Chrome 74. В компании решили не вносить за раз слишком много изменений, которые могут повлиять на SEO. Название агента пользователя изменится в ближайшем будущем, а пока останется прежним.

Right, unfortunately the UA is wrong ;-) We wanted to do things step by step and we didn't want to change the UA as people might have hardcoded it somewhere - with enough heads-up, we'll change that!

— Martin Splitt @ (@g33konaut) 8 мая 2019 г.

Две «волны» сканирования

Google по-прежнему сканирует некоторые JavaScript страницы в два захода. Поэтому, несмотря на улучшенный Googlebot, некоторые страницы будут и дальше индексироваться с задержкой.

There is still a delay...but more than 1000 new features are supported now!

— Martin Splitt @ (@g33konaut) 7 мая 2019 г.

Google продолжает работать над индексацией «в один заход».

Объем сканирования не изменится

Объем сканирования при одинаковом краулинговом бюджете не будет увеличиваться, несмотря на более сложные операции, выполняемые Googlebot.

Nope.

— Martin Splitt @ (@g33konaut) 8 мая 2019 г.

Много новых функций

В обновленном Googlebot появилось более 1000 новых функций. Например, новая версия поддерживает ES6, Intersection Observer, CSS Font Loading API и другие компоненты:

Googlebot пока доступен не для всех инструментов

Googlebot используется во многих инструментах Google. Однако, как сообщает сотрудник Google Гэри Илш, обновление пока коснулось только поиска: Mobile Friendly Test и другие сервисы перейдут на новую версию в ближайшем будущем.

Новый агент пользователя

Западные специалисты заметили новый агент пользователя Android 9.0.0 Pixel 3 XL, 01-may-2019.

@JohnMu @g33konaut Could these hits be due to the new search engine?

Googlebot hits using User Agent String Android 9.0.0 Pixel 3 XL, 01-may-2019 pic.twitter.com/t5yZDQTqs3

— Lino Uruñuela (@Errioxa) 8 мая 2019 г.

В Google говорят, что агент пользователя «похож на официальный», но большей информации пока дать не могут.

Напомним, на прошлой неделе в рамках конференции для разработчиков I/O 2019 Google анонсировал крупное обновление поиска.

Источник: Search Engine Roundtble