Gemini Computer Use помогает агенту работать с кнопками и полями на экране. Теперь инструмент вышел в общий выпуск. Объясняем, что это даёт разработчику и почему одного запроса всё ещё мало.
Есть рабочие задачи, которые приходится делать через экран: открыть страницу, найти поле, перенести данные и проверить результат. Для таких действий предназначен Gemini Computer Use. В пятницу, 30 октября, Google объявил об общем выпуске инструмента в API.
Что умеет Gemini Computer Use?
Инструмент помогает создавать агентов, которые анализируют снимок экрана и предлагают действия в интерфейсе: щелчки, прокрутку и ввод с клавиатуры. Само выполнение этих действий нужно организовать в приложении, которое работает с моделью.
Механизм описан в официальном руководстве Google. Приложение передаёт изображение экрана, получает действие, выполняет его и отправляет новый снимок. Так шаги повторяются до завершения задачи или остановки.
Это отличается от обычного ответа в чате. Модель может предложить следующий шаг, но полезность агента определяется ещё и тем, как ваше приложение выполняет и проверяет этот шаг. Общий принцип разобран в статье о многоагентных системах.
Что изменилось после общего выпуска?
По журналу Gemini API, Computer Use переведён в общий выпуск, или GA, для Interactions и GenerateContent API. Новость касается статуса инструмента. Она не означает, что любой пользователь получил готового помощника для всех программ своего компьютера.
Запись о выпуске находится в журнале от 30 октября. Дату самой новости мы не переносим на дату пересказа: это пятничное обновление, которое важно при выборе инструмента автоматизации.
Разработчику по-прежнему нужны среда выполнения, обработка действий, снимки экрана и правила остановки. В документации Google предлагает изолированную среду, чтобы ограничить влияние агента на основную систему. Условия доступа и оплаты выбранной модели следует проверять отдельно.
С какой задачи разумно начать проверку?
С небольшой повторяемой операции на тестовых данных, где заранее известен правильный результат. Важно проверить весь путь: от выбора элемента до итогового состояния страницы, включая отказ от действия, которое выходит за заданные условия.
Например, можно попросить агента заполнить демонстрационную форму и остановиться перед отправкой. Затем сравнить поля с исходным заданием. Это предложенный редакцией учебный сценарий; собственного испытания нового общего выпуска мы не проводили.
Порядок проверки стоит описать до запуска:
- Что агент может читать и менять.
- Как выглядит успешное завершение задачи.
- В каких случаях требуется решение человека.
- Как остановить работу и сохранить сведения об ошибке.
Знакомая проблема ошибок нейросетей здесь получает практическое продолжение: неверно выбранное поле может привести к неверному действию. Поэтому переход в GA полезен для планирования разработки, а приёмка конкретного процесса остаётся отдельной работой.
