Google рассказал, как учитываются вызовы API в краулинговом бюджете

Сотрудник поиска Google Джон Мюллер ответил на вопрос, как вызовы API для извлечения данных влияют на краулинговый бюджет.

Речь шла о сайте, который связывается с API на клиентском сайте для получения данных. Специалист спросил, учитываются ли эти URL в бюджете сканирования, и может ли использование директивы disallow привести к каким-либо проблемам.

Джон Мюллер ответил, что если эти вызовы включены в процесс рендеринга страницы, то они будут учитываться в бюджете сканирования. Google необходимо просканировать их, чтобы отобразить страницу.

Сканирование данных API/URL можно заблокировать с помощью директивы disallow (если на это расходуется большое количество ресурсов), но важно убедиться, что это не повлияет на рендеринг контента.

Если для успешного рендеринга необходимы эти данные, то эти URL нельзя закрывать от сканирования. Если же это какие-то вспомогательные данные, такие как рисунки, диаграммы и т.п., то риски минимальны.

Прослушать полный ответ Мюллера можно посмотреть, начиная с отметки 46:14.

Источник: Twitter