AutomationBench от Zapier вошёл в индекс Specialized Intelligence Index компании Fireworks.
Zapier сообщил о включении AutomationBench в индекс Fireworks Specialized Intelligence Index. В приведённой таблице лучшая конфигурация выполнила 51,3% задач: для успеха недостаточно правильного ответа в чате.
AutomationBench проверяет выполнение рабочих процессов от начала до конца в имитациях бизнес-приложений. В описании Zapier указаны 657 закрытых задач и 47 приложений с данными вымышленной компании.
Задачи охватывают продажи, поддержку, маркетинг и другие функции. Например, помощнику нужно найти нужного клиента среди похожих записей, обновить верную сделку и уведомить только предусмотренные команды.
Успех засчитывают, когда проходят все проверки итогового состояния приложений. Красивое сообщение «готово» не компенсирует изменение чужой записи или отправку письма неправильному получателю.
В таблице, приведённой Zapier, конфигурация с Gemini 4 Argon получила 51,3% успешных задач. Это результат конкретной настройки на этом наборе заданий, а не измерение всех возможностей модели.
Для строк с Claude Sonnet 5.5 и Opus 5.5 указана особая настройка: шаги, от которых отказывается основная модель, по умолчанию передаются запасной модели Claude. Поэтому при сравнении нужно читать условия каждой строки; одинаковый режим для всех участников из этой таблицы не следует.
Это коммерческий тест Zapier с имитациями приложений и закрытыми заданиями. Число нельзя переносить на долю ошибок помощника вашей компании. Мы не воспроизводили испытание независимо.
Повод сообщения от 28 октября — включение AutomationBench в Specialized Intelligence Index Fireworks. Сам тест и его методика существовали раньше; новость не означает, что набор впервые появился в октябре.
Такой контекст помогает сравнивать публикации без ощущения, что каждый новый пересказ — новый прорыв. В разборе ИИ-агентов объясняем, почему связка модели и инструментов оценивается по выполненному действию.
Запишите ожидаемое изменение в каждом участвующем сервисе и проверяйте его по данным. Задача завершена, когда правильная запись обновлена и нужный получатель получил сообщение.
Начать можно с учебного набора без реальных клиентских отправок: две похожие компании, старая инструкция рядом с новой и заявка без одного обязательного поля. Заранее определите, где помощник должен остановиться и задать вопрос.
После запуска сравните итоговые записи, журнал действий и ответ в чате. Если они расходятся, найдите причину до расширения доступа. В гайде о поиске ошибки с ИИ разбираем, как отделить предположение помощника от проверенного результата.
