Тестировщики Google некорректно оценивали ответы сервиса Bard

Сотрудники компании Appen, которых Google нанимал для тестирования сервиса Bard, признались, что некорректно оценивали ответы чат-бота.

Перед тестировщикам стояла задача подобрать к запросу, который пользователь задавал чат-боту, наиболее подходящий ответ из двух предложенных вариантов. Запросы были на самые разные тематики, а на оценку давалась всего минута. По словам тестировщиков, они не всегда хорошо разбирались в предложенных темах, а над некоторыми ответами нужно было подумать несколько часов. А Google не оплачивал работу, если тестировщики выходили за период в одну минуту. Поэтому часто они просто выбирали ответ наугад.

Напомним, на днях Google обновил Bard – он стал лучше разбираться в математике и логике. Также Google объявил о реструктуризации подразделения Assistant, чтобы отдать приоритет развитию технологии чат-бота Bard.

Источник: Код Дурова