Что такое токен и почему русский текст стоит по-разному
Нейросеть читает и пишет токенами. Это кусочки текста: перед работой специальная программа, токенизатор, режет текст на части. Частые слова остаются целыми, редкие дробятся. У каждой модели токенизатор свой.
Цену за API называют за миллион токенов, отдельно за вход (то, что вы отправили) и за выход (то, что модель написала). Один и тот же текст у моделей набирает разное число токенов, поэтому при равной цене за токен счёт разный. Токенизатор действует и на вопрос, и на ответ.
В английском все токенизаторы режут примерно одинаково. Русский режут по-разному. На 365 словах нашего корпуса GPT-6.1 Sol насчитал 1,76 токена на слово, Claude 2,83.
Что произошло: 3,9 раза на Хабре и «вчетверо» в CNews
1 октября пользователь Хабра donseo опубликовал замер 11 токенизаторов. На 6 октября у публикации 22,5 тыс. прочтений. Автор взял 4 пары русских и английских текстов и посчитал токены у GPT, Claude, Gemini, DeepSeek, Qwen, GLM, Kimi, Grok, GigaChat и YandexGPT. Главный вывод в его словах: «Opus 5 насчитал в нём в 3,9 раза больше токенов, чем GPT-5.5».
5 октября CNews пересказал публикацию под заголовком «Америка наживается на россиянах. Российские запросы в Claude вчетверо дороже американских». Сравнения «с американскими запросами» из заголовка в исследовании нет: там сравниваются модели Claude и GPT на одном русском тексте.
CNews привёл и вторую цифру автора: русский текст в Claude «весит» почти на 300% больше английского того же смысла, в 2,96 раза.
Автор выложил тексты, скрипт и сырые числа в открытый репозиторий под лицензией MIT. Это позволило повторить замер на его текстах. Он сам просил прислать цифры по моделям, которых в его таблице нет.
Одна оговорка автора важна для всего дальнейшего: числа usage у посредника нельзя считать данными модели, пока вы их не сверили с открытым токенизатором или с кабинетом разработчика.
Как мы проверили
Метод тот же, что у автора. Токены текста считаются как разность: запрос «Ответь одним словом: ок.» с текстом минус тот же запрос без текста. Служебные токены шаблона чата и системных подсказок шлюза в обоих запросах одинаковы и вычитаются. У Grok 4.7 такая добавка около 1 250 токенов на запрос, у остальных от 9 до 96.
Текстов 3 прозаических из корпуса автора: техническая заметка, диалог клиента с поддержкой, деловое уведомление. Всего 2 569 знаков и 365 слов. Четвёртый текст с кодом, как и автор, мы в сумму не включали.
Прогнали два канала:
- Платформа Ноя. 22 модели через шлюз платформы: Claude, GPT, Gemini, Grok, DeepSeek, Qwen, Kimi, GLM.
- Anthropic напрямую. Claude Code отправляет запрос на серверы Anthropic и показывает счётчик токенов из ответа сервера. Так мы проверили 7 моделей: Opus 4.8, Opus 5, Opus 5.5, Sonnet 5, Sonnet 5.5, Fable 5.1 и Haiku 4.5.
Для GPT числа совпали с открытым токенизатором o200k до единицы (641 токен на 3 текстах).
Что насчитали: Claude дороже в 1,6 раза
| Модель | Токенов | Знаков на токен | Против GPT |
|---|---|---|---|
| Qwen 3.7 | 621 | 4,14 | ×0,97 |
| Grok 4.7 | 634 | 4,05 | ×0,99 |
| GPT-6.1 Sol, GPT-5.5 | 641 | 4,01 | ×1,00 |
| Gemini 3.8 Flash | 646 | 3,98 | ×1,01 |
| GLM 5.3 | 661 | 3,89 | ×1,03 |
| DeepSeek V4 | 747 | 3,44 | ×1,17 |
| Kimi K3 | 1 002 | 2,56 | ×1,56 |
| Claude, все 7 моделей | 1 032 | 2,49 | ×1,61 |
Claude на русском режет текст в 1,6 раза мельче GPT. Среди крупных моделей так же плотно только Kimi K3. По слову это 2,83 токена против 1,76 у GPT.
Разрыв между русским и английским у Claude 34%, у GPT 19%. На английском тексте Claude тоже расходует больше токенов, чем GPT: 770 против 539.
Где мы расходимся с автором
| Токенизатор | Токенов у автора | Токенов у нас |
|---|---|---|
| GPT (o200k) | 641 | 641 |
| Grok 4.7 | 634 | 634 |
| Gemini 3.7 Flash | 646 | 646 |
| GLM 5.3 | 661 | 661 |
| DeepSeek V4 | 747 | 747 |
| Kimi K3 | 1 002 | 1 002 |
| Claude Opus 5 | 2 487 | 1 032 |
Шесть строк из семи совпали до единицы, поэтому корпус и метод у нас те же. Расходится одна: у автора Claude Opus 5 набрал 2 487 токенов, у нас 1 032, то есть в 2,4 раза меньше. На английском у автора 840, у нас 770. Его цифра «почти на 300% больше английского» у нас выходит 34%: 1 032 токена против 770.
Мы проверили Opus 5 двумя путями, через платформу и напрямую у Anthropic, и получили одно и то же число. Это же число у Opus 4.8, Opus 5.5, Sonnet 5, Sonnet 5.5, Fable 5.1 и Haiku 4.5.
Что случилось в замере автора, мы не знаем. Он описал, что у одного из его шлюзов usage у двух моделей Claude совпал с токенизатором OpenAI до единицы. Возможно, дело в канале доступа. Это наше предположение, проверить его не можем.
Что пишет Anthropic про свой токенизатор
В документации Anthropic сказано: модели начиная с Claude 4.7 используют новый токенизатор, и один и тот же текст даёт на нём примерно на 30% больше токенов. Claude Sonnet 4.6 и более ранние модели работают на прежнем.
Ещё компания советует считать токены под ту модель, которую вы собираетесь использовать, и даёт для этого бесплатную конечную точку подсчёта.
Мы проверили это на своих данных. Claude Haiku 4.5 работает на прежнем токенизаторе. Английский текст из 3 корпусных текстов у неё занял 557 токенов, у новых моделей 770: на 38% больше, как и обещает Anthropic. Русский текст у Haiku 4.5 и у новых моделей одинаков, 1 032 токена. Значит, новый токенизатор русский не удорожил.
Сколько это в рублях
Токены считаем по замеру, цены берём с официальных страниц Anthropic, OpenAI и Google на 6 октября 2026 года. Для Grok 4.7 цена из нашей новости от 30 сентября: страница xAI закрыта для роботов. Курс ЦБ на 6 октября, 84,9309 ₽ за доллар. Токенизатор у модели один и для входа, и для выхода.
| Модель | Цена за 1M, $ вход / выход | 1 000 знаков на входе | 1 000 знаков на выходе |
|---|---|---|---|
| Claude Fable 5.1 | 10 / 50 | 0,34 ₽ | 1,71 ₽ |
| GPT-6 Astra | 10 / 50 | 0,21 ₽ | 1,06 ₽ |
| Claude Opus 5.5 | 4 / 20 | 0,14 ₽ | 0,68 ₽ |
| Claude Sonnet 5.5 | 2 / 10 | 0,068 ₽ | 0,34 ₽ |
| GPT-6.1 Sol | 2 / 10 | 0,042 ₽ | 0,21 ₽ |
| Grok 4.7 | 2 / 6 | 0,042 ₽ | 0,13 ₽ |
| Gemini 3.8 Flash | 0,75 / 3,75 | 0,016 ₽ | 0,080 ₽ |
| GPT-6 Luna | 0,10 / 0,50 | 0,0021 ₽ | 0,011 ₽ |
У Claude Fable 5.1 и GPT-6 Astra цены за токен одинаковы, и русский текст у Fable дороже в 1,6 раза. То же у пары Sonnet 5.5 и GPT-6.1 Sol. У Opus 5.5 токен вдвое дороже, чем у GPT-6.1 Sol, и русский текст обходится в 3,2 раза дороже: 2 за цену и 1,6 за токенизатор.
У Gemini 3.8 Flash цена указана до 31 декабря 2026 года. С 1 января 2027 она вырастет вдвое: $1,50 и $7,50.
Сквозной пример. Чат-бот интернет-магазина получает 6 000 запросов в месяц. В каждом запросе вопрос клиента 250 знаков, база знаний 9 000 знаков, ответ 700 знаков. В месяц это 5 223 ₽ на Sonnet 5.5, 3 243 ₽ на GPT-6.1 Sol и 1 225 ₽ на Gemini 3.8 Flash. Из разницы между Sonnet и GPT (1 980 ₽) почти всё, 1 974 ₽, приходится на токенизатор: цены за токен у них одинаковы.
Размышления модели перед ответом и скидка за кэш в расчёт не входят. Размышления увеличивают выход, а кэш удешевляет повторяющуюся базу знаний. У Sonnet 5.5 в нашем замере размышления занимали около 3 500 токенов из 4 700 на простое письмо.
Что это значит для бизнеса
- Сравнивайте по знакам. Считайте цену 1 000 знаков вашего типичного запроса и ответа. Цена за миллион токенов у разных моделей относится к разным кускам текста.
- Закладывайте поправку на язык. К «английской» прикидке для GPT, Gemini и Grok добавьте около 20%, для Claude около 35% (34% по нашему замеру). Для DeepSeek 38%, для Kimi 86%.
- Не берите чужие множители вслепую. Цифра «в 3,9 раза» разошлась по СМИ, а на нашем канале не воспроизводится. Свой множитель снимается за полчаса.
- Токенизатор не единственная часть счёта. В нашем замере Sonnet 5.5 тратила на размышления больше токенов, чем на текст письма. Для ответов на простые вопросы цена задачи зависит от настроек размышления сильнее, чем от токенизатора.
- Доступ из России. Россия не входит в список поддерживаемых стран Anthropic. Платить за Claude картой российского банка напрямую нельзя. Как выбрать модель под задачу, мы разбирали в статье какую нейросеть выбрать.
Наш прежний замер в новостях про Opus 5.5 и Sonnet 5.5 показал русский дороже английского на 15%. Тогда мы брали один абзац про голосовых ботов. На 3 текстах автора разница 34%. Цифра 2,4 знака на токен, которую мы писали раньше, подтвердилась: 2,49.
Что делать сейчас
- Определите типичный запрос. Сколько знаков в вопросе, в инструкции и базе знаний, которые уходят с каждым запросом, и в ответе.
- Переведите знаки в токены. Разделите на знаков на токен модели из таблицы. Если у вас закрытая модель, снимите счётчик разностью двух запросов: usage («Ответь одним словом: ок.» + ваш текст) минус usage («Ответь одним словом: ок.»).
- Умножьте на цены и курс. Вход и выход считайте отдельно. Результат сравните в рублях за запрос и за месяц.
- Проверьте на 20 реальных запросах. Артикулы, латиница, цифры и таблицы режутся иначе, чем проза.
- Пересчитайте при смене модели и после 1 января 2027 года. У Gemini 3.8 Flash цена удвоится, а у новых версий моделей токенизатор может измениться.
Мы замеряли токены на 3 прозаических текстах по 2 569 знаков: на других текстах числа сдвинутся на единицы процентов. GigaChat и YandexGPT мы не мерили. Их числа есть только у автора, мы их не перепроверяли.
Наш прогон промпта
Промпт ниже считает бюджет под вашу нагрузку: запросов в месяц, знаков в вопросе, вложении и ответе, а также модели для сравнения. Мы прогнали его на 3 условных ситуациях: чат-бот магазина (6 000 запросов), разбор договоров (150 запросов по 24 000 знаков) и написание статей (400 запросов). Прогон шёл на Claude Sonnet 5.5 через платформу. Все цифры ответа мы пересчитали скриптом.
В первой версии, на 3 370 знаков, мы просили округлять стоимость запроса до копейки, и модель так делала. Но Gemini 3.8 Flash при этом получил налог токенизатора 0 ₽ вместо 6,5 ₽ в месяц, а у GPT-6 Luna итог вышел 48 ₽ вместо 46,4 ₽. Ошибка была в нашем правиле, модель его выполнила. Во второй версии, которая стоит в новости, запрос не округляется, а итог округляется до рубля. Все 10 строк таблиц в 3 ситуациях совпали с нашим расчётом.
Вот часть ответа для магазина:
| Модель | Токенов на входе | Токенов на выходе | ₽ за запрос | ₽ в месяц | Налог токенизатора, ₽ в месяц |
|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 3 715 | 282 | 0,8705 | 5 223 | 1 974 |
| GPT-6.1 Sol | 2 307 | 175 | 0,5405 | 3 243 | 0 |
| Gemini 3.8 Flash | 2 325 | 176 | 0,2042 | 1 225 | 6 |
Под таблицей модель показала арифметику для каждой модели в 2 строки, назвала самую дешёвую (Gemini) и сама отметила, что с 1 января 2027 цена Gemini удвоится и он останется самым дешёвым. Допущения она перечислила: историю диалога не учитываем, размышления и кэш не считаем.
Частые вопросы
Правда ли, что русский текст в Claude вчетверо дороже, чем в GPT? По нашему замеру нет: токенов у Claude в 1,6 раза больше, при равной цене за токен это 1,6 раза. «Вчетверо» получается только у автора исследования на Claude Opus 5, и его число мы не смогли воспроизвести. Если токен у модели Claude вдвое дороже, как у Opus 5.5 против GPT-6.1 Sol, итоговый разрыв 3,2 раза.
Сколько знаков русского текста в одном токене? Claude 2,49, GPT 4,01, Gemini 3,98, Grok 4,05, DeepSeek V4 3,44, Kimi K3 2,56, GLM 5.3 3,89, Qwen 3.7 4,14. Это по 3 прозаическим текстам из корпуса автора.
Сколько токенов в одном русском слове? У GPT и Gemini 1,8, у Claude 2,8, у DeepSeek 2,05, у Kimi 2,75. Это средние по 365 словам корпуса.
Какая модель дешевле всего для русского текста? По цене 1 000 знаков на входе GPT-6 Luna (0,0021 ₽), затем Gemini 3.8 Flash (0,016 ₽) и Claude Haiku 4.5 (0,034 ₽). Цена не говорит о качестве: сначала проверьте ответы на своих задачах.
Как посчитать токены своего текста? Для моделей OpenAI есть бесплатная программа tiktoken с кодировкой o200k, для Claude конечная точка подсчёта токенов в документации Anthropic. Для остальных снимите usage разностью двух запросов, как описано выше.
Влияет ли новый токенизатор Claude на русский? По нашему замеру нет. Claude Haiku 4.5 на прежнем токенизаторе и новые модели насчитали в русском тексте одно и то же число токенов. На английском у новых моделей токенов больше на 38%.
