QA Bench Momentic: лучший агент нашёл 19,3% известных ошибок

На сайте всё выглядит аккуратно, но кнопка не сохраняет изменение, фильтр показывает не те записи или раздел падает после сортировки. Именно такие сбои нужно находить, когда ИИ уже написал код и объявил работу завершённой. Проверку качества называют QA (от английского quality assurance).

Как QA Bench проверяет ИИ-тестировщиков?

QA Bench измеряет, сколько известных ошибок агент найдёт в работающем приложении и какая доля его сообщений окажется верной. Momentic опубликовала тест 2 ноября: в наборе 1 396 подтверждённых ошибок четырёх приложений.

Участники получали отдельный раздел и ограниченное время на исследование. Проверяли сервисы для работы с кодом, аналитикой, клиентами и магазином: Gitea, Metabase, Twenty и Saleor. В отчёте есть результаты для 30 и 60 минут на раздел.

Такую проверку важно отличать от просьбы перечитать собственный код. Человек пользуется готовым продуктом и замечает последствия. Этот переход от написанного к работающему особенно важен при вайбкодинге.

Что означает результат 19,3%?

Агент Mo показал наибольшую долю найденных известных ошибок: в среднем 19,3% при 60 минутах на раздел. Это доля из размеченного набора, а не оценка всех возможных дефектов любого сайта.

Даже лучший результат оставляет большую часть известных проблем незамеченной за один проход. Отсюда полезный вывод для заказчика: длинный отчёт с находками ещё не показывает, насколько полно проверен продукт.

Есть и другой вопрос: сколько сообщений об ошибках подтверждается. В том же отчёте у Mo этот показатель составил 84,2%, а у Codex с GPT-6.1 Sol и Playwright MCP (подключением для управления браузером) составил 86,0%. Обе характеристики помогают оценить полезность проверки.

Можно ли считать этот рейтинг независимым?

Нет: Momentic разрабатывает Mo и сама подготовила, провела и оценила QA Bench. Компания прямо раскрывает это ограничение. Данные, описания ошибок и инструменты проверки опубликованы для изучения.

Набор относится к зафиксированным версиям приложений, выбранным настройкам агентов и временному бюджету. Другой сайт или другой способ работы может дать иной результат. В новости мы разобрали отчёт; собственный сравнительный запуск не проводили.

Как принять сайт после работы ИИ?

Попросите показать воспроизводимый сбой: исходное состояние, шаги, ожидаемый результат и то, что получилось. Например, в учебной проверке корзины добавьте товар, измените количество и обновите страницу — выбор должен сохраниться по заданным правилам.

После исправления повторите тот же путь и проверьте соседнее действие, например удаление товара. Скриншот красивой страницы такую проверку не заменяет. Для приёмки полезен короткий список действий покупателя, который можно пройти снова.

Если вы используете Claude Code для разработки, задайте ему этот список заранее. Тогда у сообщения «всё работает» появится конкретное основание: какие действия проверены и что получилось.