Microsoft Research рассказала, как проверяет Copilot в искусственно созданных компаниях: с сотрудниками, письмами, встречами и историей проектов. Реальные данные клиентов в этот процесс не включают.
Создаёт искусственные рабочие среды, похожие на организации: с ролями сотрудников, документами, встречами и связанной историей общения. По заявлению Microsoft, данные клиентов не используются ни на одном этапе этой проверки.
В публикации Microsoft Research от 30 октября описана внутренняя платформа подготовки таких испытаний. Она нужна, чтобы проверять рабочие вопросы, которые обычный короткий тест может не заметить.
Для бизнеса это понятный принцип: помощника стоит принимать на задачах, похожих на будущую работу. Общая оценка модели не отвечает на вопрос, найдёт ли она последнее решение именно в вашей истории проекта. Этот этап есть в плане внедрения ИИ.
Из открытых данных о профессиях, вакансий и публичной отчётности. Они помогают задать правдоподобные роли, структуру и масштаб, а сами письма, документы и встречи создаются искусственно.
Исследователи подготовили среды для фармацевтической организации, финансовой компании и разработчика ПО. История меняется во времени: появляются новые обсуждения и решения. Это важно для вопросов вроде «что изменилось после прошлой встречи».
Хороший ответ здесь должен учитывать версию и дату. Найденная старая договорённость может быть настоящей частью истории, но уже не описывать действующее решение. Ошибка возникает даже без полностью выдуманного документа.
Он показывает работу Copilot на подготовленной среде и качество самой среды. Эти показатели нужно различать: более правдоподобные тестовые данные ещё не доказывают такой же прирост точности ответов.
Microsoft оценивает устройство организации, соответствие запросов рабочим задачам, поведение вымышленных участников и безопасность содержимого. Описанный показатель относится к качеству самих тестовых данных. Результат для конкретного клиента по нему определить нельзя.
При чтении отчёта полезно спрашивать, что было правильным ответом и как его проверяли. Проблему правдоподобных, но неверных ответов разбираем в статье о галлюцинациях нейросетей.
Подготовьте вымышленную рабочую историю с заранее известными решениями и проверьте, умеет ли помощник отличать действующие сведения от отменённых. Так можно составить приёмку своего помощника. Описанная Microsoft платформа используется внутри компании.
Условный пример: сначала в переписке согласовали одну дату запуска, а следующей встречей перенесли её. Спросите о действующем сроке и попросите указать основание. Затем проверьте, не вернул ли помощник старую дату из первого письма.
Такой пример не заменяет проверку на реальных задачах и разрешённых данных. Зато помогает заранее задать ожидаемый ответ и понять, какую ошибку вы пытаетесь обнаружить, до подключения рабочих переписок.
