Быструю версию Kimi теперь можно подключать через Amazon Bedrock. Для компании это возможность использовать модель внутри уже знакомой облачной инфраструктуры.
Для команды выбор нейросети часто упирается не в качество одного ответа. Важно, как оплачивать запросы, кому дать доступ и куда уходят документы. Поэтому появление модели у привычного облачного поставщика может быть полезнее ещё одного красивого результата теста.
6 ноября Amazon Web Services (AWS), облачное подразделение Amazon, добавило Kimi K3.1 Pro Highspeed в Amazon Bedrock, сервис доступа к разным моделям.
В Bedrock появилась быстрая версия Kimi K3.1 Pro для задач с инструментами, программирования и обработки документов. AWS также заявляет поддержку явного кэширования повторяющегося контекста.
Саму модель Moonshot представила раньше. Теперь появился новый канал доступа. Его не стоит смешивать с выходом весов, подпиской на чат Kimi или появлением отдельной новой модели.
По описанию AWS, Kimi работает с разными типами входных данных и контекстом примерно в миллион токенов. Токенами называют части текста и других данных, которые обрабатывает система. Большое окно позволяет передать больше материала, но не обещает правильный ответ на любой вопрос внутри него.
Кэш позволяет повторно использовать уже обработанную часть запроса. Если агент постоянно возвращается к одним и тем же инструкциям или документам, это может уменьшить задержку и стоимость входных данных.
Представим условную команду поддержки, которая много раз обращается к одному справочнику товара. Есть смысл сравнить два сценария: каждый раз передавать весь материал заново или использовать предусмотренное поставщиком кэширование.
Но в проверке нужно считать не только цену текста на входе. Важны длина ответов, дополнительные обращения к инструментам и число попыток до пригодного результата. О том, как выбирать маршрут доступа к моделям и читать его условия, рассказываем в разборе OpenRouter.
В анонсе указан межрегиональный способ выполнения запросов (cross-Region inference). Это не обещание, что обработка всегда останется в одном регионе, выбранном в настройке приложения.
Для команды с ограничениями по размещению документов это существенное условие. Перед загрузкой рабочих данных нужно сверить доступный профиль маршрутизации и правила своей организации. Скорость версии Highspeed не отменяет этот выбор.
Сам анонс AWS не приводит точное число токенов в секунду и цену конкретной задачи. Поэтому для первой проверки можно взять небольшой обезличенный набор документов и сравнить ответ, задержку и фактический расход с текущим решением.
Если вы пользуетесь обычным чатом Kimi, новый облачный маршрут может вообще не потребоваться. Это прежде всего новость для тех, кто строит свои приложения и агентов. Основные способы работы с сервисом собраны в обзоре Kimi.
