Дзен запретил краулеру OpenAI собирать данные со своей платформы

Контентная платформа Дзен (принадлежит компании VK) запретила роботу GPTBot от OpenAI обходить страницы сайта dzen.ru для сбора данных.

Соответствующая директива замечена «Ъ» в файле robots.txt. В пресс-службе VK объяснили, что заблокировали GPTBot для снижения нагрузки на серверы Дзена.

Компания VK так прокомментировала свое решение:

Рекомендательная система Дзена – одна из самых больших в стране. Высоконагруженные сервисы работают беспрерывно и обрабатывают более 150 тысяч запросов в секунду. Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В Дзене регулярно создаются миллионы новых публикаций: как в текстах, так и в видеоформате, – мы направляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам.

Отметим, что файл robots.txt носит рекомендательный характер для краулеров и технически ничто не запрещает роботам игнорировать прописанные в нем директивы.

GPTBot используется для сбора информации, которая впоследствии используется для создания нейросетевых продуктов OpenAI. Компания не предоставляет доступ к ним в России и заблокировала доступ к сайту для пользователей из РФ.

Напомним, раннее Яндекс предложил владельцам сайта специальную директиву для YandexGPT, чтобы запретить нейросети использовать информацию ресурса для генерации быстрых ответов. О том, как SEO-сообщество отнеслось к этому, читайте в нашей статье.

Источник: Коммерсантъ