NVIDIA представила Nemotron 3.5 Transcribe: модель расшифровывает записи, переводит речь и разделяет реплики говорящих. Русский указан в языковой матрице. Модель предназначена для готовых записей, а не живой трансляции.
Nemotron 3.5 Transcribe объединяет расшифровку записи, перевод, разделение реплик по говорящим и ответы на вопросы по аудио. В анонсе указаны 40 языков распознавания, перевод 31 языка в английский и обратно, разделение говорящих для 13 языков.
В публикации NVIDIA от 28 октября описана одна модель, которой задают нужную форму результата обычной инструкцией. Например, можно попросить расшифровку с метками говорящих или перевод.
Поддерживаются записи длиной до часа и метки до восьми говорящих. Это не означает распознавание личности: обозначить разные реплики и достоверно установить настоящее имя человека — разные задачи.
Да, в официальной языковой матрице русский отмечен для распознавания, перевода в английский и обратно, многоголосой расшифровки и смешения языков. Однако понимание аудио, рассуждения и выполнение голосовых инструкций оценивались только на английском и могут работать ненадёжно на других языках.
Эти условия приведены в карточке модели. Поэтому наличие русского в строке распознавания нельзя автоматически переносить на любую задачу с записью.
Для рабочего разговора отдельно стоит проверить имена, числа, отрицания и смену говорящих. Ошибка «не согласовал» → «согласовал» важнее красивой пунктуации. Как устроена проверка расшифровки на практике, рассказываем в разборе аудио в текст.
Модель принимает текстовое указание и дополнительный контекст, которые влияют на запись результата. Это помогает задать стиль расшифровки и написание терминов, но неверная подсказка способна подтолкнуть ответ к неподходящему слову. Такой риск отмечен в карточке NVIDIA.
Для учебной встречи предлагаем отдельно записать названия проектов и проверить, действительно ли они произнесены. Список терминов не должен становиться списком слов, которые помощник обязан вставить в текст любой ценой.
Тот же принцип касается меток говорящих. Если реплика приписана другому человеку, итог встречи может исказиться даже при правильно распознанных словах. Важные решения полезно сверять с соответствующим местом исходной записи.
Выпуск предназначен для записанного аудио, не для потоковой обработки разговора в реальном времени. Для выбора на свою задачу нужно отдельно проверить способ запуска, оборудование, задержку и качество результата на подходящих записях.
Наш пример приёмки — обезличенная запись встречи с известными участниками: проверить смену говорящих, несколько сумм и обещанные сроки. После этого сравнить итоговый текст с тем, что человек действительно сказал, а не только с удобством готового конспекта.
Показатели из сравнений NVIDIA мы не выдаём за собственный замер. Условия и шкалы таких тестов различаются. Для оценки разговора по правилам компании есть отдельный разбор речевой аналитики; сама расшифровка ещё не подтверждает качество обслуживания клиента.
