В России разработают тесты для проверки ИИ на соответствие традиционным ценностям

В России обсуждают создание национального датасета для оценки систем искусственного интеллекта. В него войдут контрольные задания и эталонные данные, которые проверят качество моделей, их пригодность для российских условий и соответствие духовно-нравственным ценностям. Обсуждение прошло 13 августа на совещании рабочей группы по регулированию ИИ, пишет Коммерсантъ.

Бенчмарк позволит сравнивать модели по единым критериям. Такие наборы включают не только вопросы с готовыми ответами, но и прикладные задания – например, обработку информации из базы данных или подготовку отчета.

Главным предметом спора стала доступность тестов. Представители ФСБ поддержали закрытый формат, при котором разработчики не знают задания и не настраивают модели специально под проверку. ИТ-компании выступили за публикацию датасета: непрозрачные критерии усложнят тестирование и замедлят выпуск новых версий моделей.

В качестве компромисса участники предложили разделить проверку на два этапа. Открытый набор заданий разработчики используют для предварительной оценки, закрытый – для финального тестирования. Оба датасета охватят одинаковые темы, но будут содержать разные формулировки.

Эксперты также обратили внимание на разницу между техническими и ценностными заданиями. В математике или программировании существует однозначный ответ. Оценка соответствия духовно-нравственным принципам требует системы критериев и участия экспертов.

Содержание бенчмарка еще не определено. ИТ-сообщество предложило создать совместную комиссию с участием государства, бизнеса и экспертных организаций. В аппарате вице-премьера Дмитрия Григоренко сообщили, что инициативу обсуждают с отраслью и заинтересованными ведомствами. Минцифры продолжает консультации с компаниями по подзаконным актам к закону об ИИ.

Первоначально Коммерсантъ сообщил, что концепцию национального датасета представил Яндекс. После выхода материала компания опровергла эту информацию. В Яндексе заявили, что участвовали в общей рабочей встрече вместе с другими компаниями и поддержали открытость содержания датасета.

Ранее стало известно, что ИИ поднялся на второе место среди главных угроз для бизнеса.

Источник: Коммерсантъ