Яндекс и ШАД выложили бенчмарк для проверки рассуждений нейросетей

Инженеры Яндекса и студенты Школы анализа данных представили MTGBench – открытый набор тестов, который оценивает, как нейросети справляются со сложными многоэтапными задачами. Он поможет разработчикам и компаниям выбирать модели под конкретные сценарии. Статью о бенчмарке приняли на научную конференцию EMNLP 2026.

В основу MTGBench легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Каждая состоит из десятков шагов и требует учитывать предыдущие действия и новую информацию. Такой формат приближен к диалогу с пользователем, который постепенно дополняет запрос – например, добавляет даты и бюджет при планировании поездки, из-за чего нейросеть должна учитывать в рассуждениях как новую информацию, так и предыдущие шаги. Это можно проверить в играх, где каждый следующий шаг зависит от предыдущего.

Бенчмарк оценивает не только итоговый ответ, но и количество шагов, потраченных на решение. Задания проверяют способность модели логически рассуждать, использовать подсказки, планировать действия и не противоречить собственным ответам. В четырех играх решения проверяют алгоритмы, в остальных – ИИ-судья, работу которого дополнительно оценили люди. Все задания доступны на русском и английском языках.

Исследователи протестировали 16 нейросетей – от компактной версии Qwen до крупных моделей Gemini и GPT. Результаты показали, что польза режима рассуждений зависит от задачи. Наиболее заметный эффект он дает в играх, где нужно работать с буквами и символами, анализировать подсказки и исключать неверные варианты. В заданиях на извлечение знаний и понимание смысла улучшения оказались менее выраженными.

При этом высокий результат в одной игре не гарантировал успеха в другой, а русскоязычные задания в целом оказались для нейросетей сложнее англоязычных.

Для сравнения задания на русском языке предложили людям. Участники хорошо справились с буквенными играми, однако сильнейшие модели с включённым режимом рассуждений получили более высокие средние баллы во всех семи играх.

MTGBench опубликован на GitHub и доступен для тестирования и сравнения нейросетей.

Напомним, ранее стало известно, что подход Яндекса лег в основу эксперимента Anthropic по безопасности ИИ.

Источник: пресс-релиз Яндекса