В новом тесте GDPx лучший общий результат ИИ-агентов составил 12%. SemiAnalysis сравнивает модели в 11 профессиональных направлениях, от разработки программ до проектирования чипов.
В рабочих заданиях помощнику приходится разбираться в документах и искать нужные сведения. Поэтому полезно сравнивать модели на задачах своей профессии. Новый GDPx собирает такие сравнения по разным направлениям.
Тест GDPx от SemiAnalysis посвящён профессиональной работе ИИ-агентов. На официальной странице представлены 206 заданий в 11 направлениях, включая разработку программ, проектирование оборудования, финансы и право.
В общей таблице можно сравнить модели, а затем переключиться на отдельные направления. Рядом есть график результата и средней стоимости выполнения задачи: он помогает увидеть, за какое качество платит пользователь.
Слово «агент» здесь означает помощника, который выполняет последовательность действий. Если термин пока непривычен, начните с нашего объяснения ИИ-агентов и ассистентов.
По данным SemiAnalysis, лучший общий результат на GDPx составил 12%. Это оценка на специально подобранных сложных заданиях. Она не означает, что нейросети способны выполнить только такую долю всех задач в компании.
На официальной странице у Claude Opus 5.5 указаны 12 баллов общего результата, у Gemini 4 Carbon 10,9, у GPT-6 Astra 9,6. Эти значения относятся к опубликованной таблице GDPx; универсальной оценкой полезности каждого помощника они не становятся.
Поэтому громкое число полезнее читать вместе с устройством испытания. Можно хорошо справляться с одним видом работы и заметно хуже с другим — общий рейтинг сгладит эту разницу.
Отдельные направления помогают сравнить модели по нужному виду работы. В GDPx есть, например, программирование, проектирование чипов и материаловедение. Выбор полезно связать с тем, что именно будет делать ваш помощник.
В собственной учебной задаче это можно представить так: сотруднику дали несколько файлов о продажах и попросили объяснить расхождение в отчёте. Ему нужно найти подходящий период, сопоставить источники и показать расчёт. Красивый ответ без этой проверки мало помогает.
Мы привели учебную ситуацию для пояснения. Собственного сравнительного запуска моделей у редакции не было.
Возьмите повторяющуюся рабочую задачу и заранее запишите, по каким признакам результат будет принят. Затем сравните помощников на одинаковых исходных данных, учитывая ошибки, время и стоимость доработки.
Для первого опыта хватит небольшого набора обычных и сложных случаев. Например, отчёт по полным данным, по файлам с пропуском и по двум противоречащим источникам. В последнем случае полезно увидеть уточняющий вопрос вместо выдуманного объяснения.
Такую проверку можно включить в обучение команды работе с ИИ. GDPx даёт повод внимательнее смотреть на самостоятельную работу помощников; решение о вашем процессе лучше опирать и на собственные примеры.
