AWS (Amazon Web Services) представила новую маршрутизацию запросов к моделям 16 ноября и объяснила её работу в техническом блоге 17 ноября. Представьте помощника, у которого каждое сообщение начинается одинаковой длинной инструкцией. Модель уже обработала это начало для прошлого запроса, но результат хранится в памяти конкретного сервера. Если следующее сообщение попадает на другой сервер, работу приходится повторить.
SageMaker KV Cache Routing: запросы к готовому кэшу
В Amazon SageMaker AI появился режим KV Cache Routing для приложений с длинными или повторяющимися запросами. AWS направляет запрос туда, где больше готовых вычислений и сервер успевает его принять.

В настройках этот режим называется KV_AWARE (маршрутизация с учётом кэша key-value).
Как SageMaker выбирает сервер с готовым кэшем?
В режиме KV_AWARE SageMaker учитывает, какая часть начала запроса уже есть в кэше каждого подходящего сервера и насколько этот сервер занят. Если подходящего свободного сервера нет, запрос распределяется по текущей нагрузке.
Кэш хранит результат промежуточных вычислений по началу текста. Такой подход может сократить ожидание до первого токена. Контекстное окно модели остаётся отдельным ограничением: даже если часть текста обработана раньше, предельная длина входа определяется моделью и её настройками.
В анонсе AWS указаны контейнер vLLM версии 0.33.0 или новее и минимум 2 экземпляра либо копии компонентов вывода. Настройка относится к запросам в реальном времени в SageMaker AI. Этот выпуск отдельный от добавления моделей DeepSeek в JumpStart.
С каких запросов начать сравнение
Возьмите 2 потока запросов: длинные с одинаковой инструкцией и короткие, в которых начало каждый раз меняется. На одной и той же нагрузке сравните время от отправки до первого токена. Длину готового ответа учитывайте отдельно: она может измениться, даже если время до начала ответа упало.
Если выигрыш виден только на длинных запросах, оцените, много ли их в вашей работе. У коротких запросов повторно использовать может быть почти нечего. После увеличения числа серверов проверьте результат ещё раз: новым экземплярам сначала нужно наполнить кэш. Для рабочего ИИ-агента полезно также сверить, как изменилась задержка всего действия, включая вызовы внешних сервисов.