Почему одного правильного ответа мало
Клиент сначала спрашивает о товаре, потом добавляет бюджет, затем уточняет срок. Помощник должен учесть новую информацию и сохранить важные условия из предыдущих сообщений. Разовая загадка этого не проверяет.
Та же проблема возникает при подготовке отчёта: после первого варианта руководитель меняет период или просит исключить часть данных. Полезно видеть, выдерживает ли модель такие уточнения. Об устройстве рабочих помощников рассказываем в разборе ИИ-агентов.
Что произошло
Инженеры Яндекса и студенты Школы анализа данных выпустили MTGBench в открытом доступе. Он включает семь текстовых игр, где каждый ход связан с предыдущими. Среди примеров — Wordle, «Данетки» и «Элиас».
Задания доступны на русском и английском. На наборе проверили шестнадцать моделей. В части игр ответы оцениваются алгоритмами, в остальных используется ИИ-судья, качество которого дополнительно проверяли люди.
Результат зависит от типа задачи. Режим рассуждений особенно помогал в некоторых задачах с буквами, подсказками и исключением вариантов. В других играх улучшение было менее устойчивым. Русскоязычные задания в целом давались моделям хуже англоязычных.
Что из этого следует для компании
Место в общей таблице полезно как ориентир для выбора кандидатов. Но внедрять помощника приходится в конкретный процесс: продажи, отчётность или работу с документами. В нём важны свои язык, исходники и критерии.
Если команда работает по-русски, проверяйте реальные русские формулировки. Хороший ответ на английском образце ещё не подтверждает качество в ваших переписках. Сохраните особенности речи клиента: короткие фразы, уточнения и неполные данные.
Не нужно превращать сотрудников в организаторов научного соревнования. Для первого сравнения достаточно небольшого набора обезличенных рабочих задач с понятными правильными исходами.
Как собрать своё многошаговое испытание
Возьмите один процесс. Сначала задайте основную задачу, затем внесите уточнение, которое меняет часть ответа. После этого проверьте, сохранились ли остальные условия.
Учебный сценарий для ответа покупателю: сначала нужен один вариант комплектации, затем меняется срок, потом выясняется ограничение по доставке. Проверяющий заранее знает, какие условия должны остаться и чего в исходнике нет.
Запишите для каждого шага:
- что добавилось к запросу;
- какое условие нужно сохранить;
- что должно измениться;
- где нужен вопрос человеку;
- как выглядит приемлемый результат.
Если модель уверенно придумала недостающую цену, ответ не принят. Если она сохранила старый срок после нового уточнения, это отдельная ошибка. Так вы получаете карту проблем процесса, а не одно впечатление «вроде отвечает хорошо».
Как сравнивать режимы рассуждений
Используйте одинаковые исходники и порядок уточнений. Смотрите на качество результата, затраты и время проверки. Длинный разбор не обязательно полезнее короткого ответа, если оба приводят к одному принятому результату.
В статье о мультиагентных системах мы отдельно разбираем цену дополнительных участников. С режимами рассуждений похожий управленческий вопрос: что именно вы получаете за дополнительный расход в своей задаче.
Не называйте своё небольшое испытание универсальным рейтингом моделей. Оно отвечает на узкий вопрос: какой вариант лучше справился с выбранным процессом при заданных условиях.
Частые вопросы
MTGBench выбирает лучшую модель для любого бизнеса?
Нет, он измеряет определённые способности в наборе текстовых игр. Для рабочего процесса требуется отдельная проверка.
Режим рассуждений всегда улучшает ответ?
В исследовании эффект зависел от игры и модели. Поэтому полезно сравнить режимы на одной и той же рабочей задаче.
Нужно ли запускать весь научный набор?
Для выбора помощника компании можно начать со своих проверяемых примеров. Открытый набор пригодится командам, которым нужен более широкий сравнительный эксперимент.
