21 сентября 2026 года стало известно, что стартап Vals, который тестирует ИИ-модели, привлёк 40 млн долларов в раунде A под руководством фонда Andreessen Horowitz. Компания основана в 2024 году и строит бизнес на одном принципе: задания её тестов не публикуются. Разработчик модели не видит вопросов заранее и не может натренировать модель на правильные ответы. Проверяют прикладные задачи вместо эрудиции: финансы, юриспруденцию, разработку программ, а также кибербезопасность и поведение моделей в чувствительных темах. В публичной таблице Vals на 21 сентября первое место по среднему результату занимает Claude Fable 5.1 с 68,83%, дальше GPT-6 Astra с 66,61% и Muse Spark 1.3 Max с 64,53%. Даже лучший результат это чуть больше двух третей задач.
Компания Vals, основанная в 2024 году, объявила о раунде A на 40 млн долларов под руководством фонда Andreessen Horowitz. По словам сооснователя Раяна Кришнана, поводом для создания компании стало наблюдение: академические способы тестирования не поспевают за темпом выхода моделей.
Результаты Vals публикует открыто: на сайте компании есть общая таблица по моделям и отдельные наборы задач. Сами задания при этом закрыты.
Когда набор тестов опубликован, он попадает в интернет, а оттуда в данные для обучения следующих моделей. Дальше начинается то, что в отрасли называют загрязнением: модель отвечает правильно не потому, что умеет решать такие задачи, а потому, что видела ответы.
| Как устроен тест | Что мешает верить результату |
|---|---|
| Задания опубликованы | модель могла обучиться на них; высокий балл не значит умения |
| Задания закрыты, оценку ведёт независимая сторона | результат ближе к реальной работе, но проверить методику со стороны сложнее |
| Тест делает сам разработчик модели | выбор задач в его интересах |
Идеального варианта здесь нет: у закрытых тестов своя слабость, их нельзя перепроверить самостоятельно. Поэтому смотреть стоит сразу на несколько независимых оценок, а ещё лучше на свою.
| Модель | Средний результат |
|---|---|
| Claude Fable 5.1 | 68,83% |
| GPT-6 Astra | 66,61% |
| Muse Spark 1.3 Max | 64,53% |
| Gemini 3.8 Flash | 62,25% |
| Grok 4.7 | 60,20% |
| DeepSeek V4.1 Flash | 57,86% |
| Kimi K3 | 57,81% |
Первое, что бросается в глаза: даже лучшая модель решает чуть больше двух третей заданий. Это ровно то, о чём мы писали в материале про галлюцинации нейросетей: на прикладных задачах ошибка становится частью работы, и процесс надо строить с учётом проверки.
Второе: разрыв между первой и седьмой строкой около 11 процентных пунктов. При этом стоимость ответа у этих моделей отличается в разы. Выбор модели решается вопросом «какая справляется с вашими задачами за приемлемые деньги». Подробнее об этом в разборе какую нейросеть выбрать.
Чужой рейтинг отвечает на вопрос «кто лучше вообще». Бизнесу нужен ответ на другой вопрос: «кто лучше на моих задачах». Собрать свой мини-тест можно за один вечер:
Vals — независимая компания? Она берёт деньги за тестирование и привлекла инвестиции фонда, который вкладывается и в ИИ-компании. Это не делает результаты неверными, но учитывать стоит.
Почему в таблице нет российских моделей? Vals тестирует то, к чему у неё есть доступ через API; российские модели в опубликованный список не входят. Сравнивать их придётся своим тестом.
Можно ли доверять цифре 68,83%? Как ориентиру — да. Как обещанию, что ваши задачи будут решены на 68,83% — нет: у Vals свой набор задач, у вас свой.
Что такое загрязнение тестов? Ситуация, когда правильные ответы попали в обучающие данные модели, и высокий балл показывает память вместо умения.
Опишите задачи, которые собираетесь отдать нейросети, и приложите 3–5 примеров с эталонными ответами. На выходе получите готовый набор тестовых заданий, шкалу оценки и таблицу для сравнения моделей по качеству и цене.
Ты — методист по оценке языковых моделей. Твоя компетенция — превращать рабочие задачи компании в воспроизводимый тест, по которому видно, какая модель справляется лучше и за какие деньги.
ЗАДАЧА
Составить набор тестовых заданий под конкретные задачи компании, описать шкалу оценки и порядок сравнения моделей.
ЧТО Я ДАЮ
— задачи, которые хочу отдать нейросети: [описание: ответы клиентам, описания товаров, расчёты, разбор переписок]
— примеры реальных входных данных: [3–5 примеров]
— эталонные ответы, которые считаю хорошими: [тексты]
— ограничения: [бюджет на тысячу ответов, допустимое время ответа, требования к данным]
ПРОТОКОЛ РАБОТЫ
1. Разбери задачи на типы и для каждого определи, что считается успехом: фактическая точность, тон, следование формату, отсутствие выдумок.
2. Составь 20–30 тестовых заданий, распределив их по типам пропорционально реальной нагрузке; включи 3–5 заведомо сложных случаев (нет данных, противоречие, провокация клиента).
3. Для каждого задания опиши критерий приёмки одной строкой: что должно быть в ответе обязательно и чего быть не должно.
4. Предложи шкалу: «можно отправить клиенту без правок» — 1 балл, «нужна правка» — 0,5, «нельзя отправлять» — 0.
5. Опиши порядок прогона: одинаковый промпт, одинаковые настройки, по три повтора на задание, фиксация стоимости и времени ответа.
6. Собери таблицу сравнения моделей: качество по типам задач, доля ответов без правок, средняя цена ответа, время.
7. Укажи, при каком результате менять модель, а при каком — доделывать промпт вместо смены модели.
ФОРМАТ ОТВЕТА
Сначала список типов задач с критериями успеха. Затем пронумерованный набор тестовых заданий с критериями приёмки. Затем шкала. Затем пустая таблица сравнения, готовая к заполнению. В конце — правило принятия решения.
ЕСЛИ ДАННЫХ НЕ ХВАТАЕТ
Не выдумывай примеры за меня: если реальных входных данных нет, задай уточняющие вопросы и предложи, где их взять. Если не указан бюджет, спроси про допустимую стоимость ответа.
Можно взять этот промпт за основу своего помощника. Открыть Ною.
