Что такое токены в нейросети: сколько это в тексте и цены

Коротко, если нужен ответ на тест: токен в нейросети – минимальная единица текста, которой модель читает и пишет: слово, часть слова или знак. В русском тексте 1 токен в среднем занимает 3,5–5 знаков, это примерно половина слова. Токенами меряют, сколько текста модель удержит за раз и сколько стоит запрос.

Модель не видит буквы. Она режет ваш вопрос на токены, считает и отвечает тоже токенами.

Пример. Фраза Нейросеть читает текст по токенам в токенизаторе GPT-4o делится на 12 кусков: Н | ей | рос | еть | чит | ает | текст | по | ток | ен | ам | точка. Тот же смысл на английском занимает 8 токенов.

По токенам считают всё: сколько текста модель удержит за раз и сколько вы заплатите за запрос. Ниже разберу, сколько токенов в русском тексте, сколько слов и страниц в 1 000, 16 384 и миллионе токенов, что такое контекстное окно, сколько стоит миллион токенов на октябрь 2026 и как я считаю цену одного ответа ИИ-консультанта.

Сразу разведём термины: криптотокены из блокчейна к нейросетям отношения не имеют, это другое слово с тем же звучанием.

Что такое токены в нейросети простыми словами

У каждой модели есть словарь фрагментов. У открытой GPT OSS в нём 201 088 позиций. Частые слова лежат в словаре целиком, редкие модель собирает из кусочков.

Как это выглядит в токенизаторе GPT-4o и GPT OSS, если слово стоит в середине фразы:

• token – 1 токен;
• бухгалтерия – 2: бухгалтер + ия;
• Екатеринбург – 3: Екат + ерин + бург;
• нейросеть – 3: ней + рос + еть.

Пробелы, запятые и цифры тоже становятся токенами. Поэтому считать слова бесполезно, считают именно токены.

Ориентиры от разработчиков. OpenAI и Anthropic пишут: в английском 1 токен примерно равен 4 символам или трём четвертям слова. Сбер в документации GigaChat даёт 3–4 символа на токен с пробелами и знаками препинания.

Важная деталь: у каждой модели свой токенизатор. Яндекс прямо пишет, что количество токенов в одном и том же тексте у разных моделей будет отличаться. Anthropic предупреждает: у Claude начиная с версии 4.7 новый токенизатор, он даёт примерно на 30% больше токенов на тот же текст.

Подробнее о том, как устроены сами языковые модели, рассказал в статье что такое LLM. Остальные термины собрал в словаре ИИ.

Сколько токенов в русском и английском тексте

Возьмём обычный абзац с сайта бухгалтерской компании: 329 знаков, 43 слова. Переведём на английский и пропустим оба текста через два токенизатора OpenAI из открытой библиотеки tiktoken.

• Старый токенизатор GPT-4 (cl100k_base): русский абзац – 150 токенов, английский – 64. Русский выходит в 2,3 раза длиннее.
• Новый токенизатор GPT-4o и GPT OSS (o200k): русский – 75 токенов, английский – 64. Разница 17%.

Так что фраза про дорогой русский верна для старых моделей: там одно русское слово часто резалось на 3–5 кусков. В новых словарях русских слов стало больше, и разрыв сократился.

Ещё нагляднее пример из документации Яндекса. Один и тот же русский текст в 501 символ:

• YandexGPT Pro – 96 токенов, 5,2 символа на токен;
• gpt-oss-120b – 109 токенов, 4,6 символа;
• Qwen3 235B – 139 токенов, 3,6 символа.

Модель Яндекса режет русский текст крупнее всех. Значит, на ту же задачу ей нужно меньше токенов.

Что из этого следует для вас? Сравнивать модели только по цене за миллион токенов неточно. Дешёвый токен при плохом токенизаторе может дать такой же счёт, как дорогой токен при хорошем. Честнее прогнать свой типичный текст через токенизатор каждой модели. У Яндекса для этого есть отдельный метод API, у Anthropic – подсчёт токенов до отправки запроса.

Сколько это в тексте: от 1 токена до миллиона

Пересчёт ниже собран из трёх ориентиров. Для английского OpenAI и Anthropic дают 1 токен на 4 символа или три четверти слова. Для русского беру диапазон из примера Яндекса: от 3,6 до 5,2 знака на токен у разных моделей, округлённо 3,5–5. Слова считаю по абзацу из замера выше: 329 знаков на 43 слова, около 7,7 знака на слово вместе с пробелом.

Страница – 1 800 знаков с пробелами, стандартная машинописная.

Это ориентир. Точное число зависит от модели и от самого текста: цифры, таблицы, код и редкие слова режутся мельче. Две поправки:

• в старом токенизаторе GPT-4 русский абзац занял 150 токенов вместо 75, там на токен приходится около 2 знаков, и все русские цифры в таблице надо делить на два;
• Claude начиная с версии 4.7 даёт примерно на 30% больше токенов на тот же текст, значит текста в тот же объём влезает меньше.

Ответы на частые вопросы из поиска. 700 токенов – это 300–450 русских слов, полторы-две страницы, обычный развёрнутый ответ чат-бота. Контекст 16 384 токена вмещает 57–82 тысячи знаков русского текста, это 32–46 страниц, небольшой договор с приложениями. Миллион токенов – это 450–650 тысяч русских слов, около 1 950–2 800 страниц.

Как узнать, сколько токенов в вашем тексте. Быстро: разделите число знаков с пробелами на 4, получится грубая оценка. Точно: прогоните текст через токенизатор нужной модели. У OpenAI это открытая библиотека tiktoken, у Anthropic и Яндекса есть подсчёт токенов через API.

Контекстное окно: сколько токенов модель держит в голове

Контекстное окно – это объём текста в токенах, который модель видит за один раз. Туда входит всё: инструкция, история переписки, приложенные документы и сам ответ. Что не влезло, модель просто не видит.

Размеры окна на октябрь 2026:

• YandexGPT Pro 5.1 – 32 768 токенов;
• GigaChat 2 Max – 128 000;
• gpt-oss-120b и Alice AI LLM – 131 072;
• Claude, модели 4.6 и новее – 1 млн;
• GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna – 1,05 млн.

Если брать оценку Сбера в 3–4 символа на токен, окно в 128 000 токенов вмещает примерно 380–510 тысяч знаков русского текста.

Есть и скрытый расход. У моделей с рассуждениями OpenAI токены размышлений вы не видите, но они занимают место в окне и оплачиваются как выходные.

Большое окно не значит, что туда надо грузить всё. В моём консультанте база из 159 страниц сайта разбита на 1 610 фрагментов. В запрос к модели уходят только фрагменты, подходящие к вопросу. Это дешевле, и модели меньше поводов отвечать мимо. Про ответы мимо и выдуманные факты есть отдельная статья: галлюцинации нейросети.

Как считают деньги за токены: вход, выход, кэш

Через API платят за каждый токен. Счёт складывается из нескольких частей.

1. Вход. Всё, что вы отправили модели: инструкция, вопрос, история диалога, документы. Модель не помнит прошлые сообщения сама, поэтому каждый следующий вопрос в диалоге отправляет всю историю заново. Длинная переписка дорожает с каждым шагом.
2. Выход. Ответ модели. Он почти всегда дороже входа. У Claude Sonnet 5.5 вход стоит $2 за миллион, выход $10. У Alice AI LLM 0,5 ₽ и 1,2 ₽ за тысячу токенов.
3. Кэш. Если начало запроса повторяется, например одна и та же длинная инструкция, провайдер берёт за него меньше. У Claude чтение из кэша стоит 10% от цены входа, у Opus 5.5 всего 5%. Зато запись в пятиминутный кэш стоит 125%. У GPT-6 Astra кэшированный вход стоит $1 за миллион против $10 за обычный. В Yandex AI Studio кэш включается автоматически, но не гарантируется.
4. Пакетный режим. Если ответ не нужен сразу, Anthropic даёт скидку 50% на вход и выход.

Цены на токены в октябре 2026: Claude, GPT, YandexGPT, GigaChat, GPT OSS

Цены за 1 млн токенов по официальным прайсам. Рублёвые цены указаны с НДС. Учтите: Anthropic и OpenAI официально Россию не обслуживают, её нет в их списках стран. Для российской компании рабочие варианты – строки в рублях.

Пояснения к таблице. У GPT-6 Astra и GPT-6.1 Sol запрос длиннее 272 тысяч токенов считается по повышенной цене. Цены YandexGPT и Alice даны для синхронного режима, в асинхронном YandexGPT Pro 5.1 стоит 0,41 ₽ за тысячу. GigaChat по факту использования требует минимум 600 ₽ в месяц.

Мой консультант работает на той же GPT OSS 120B, только в облаке Timeweb. На запуске в августе 2026 выходило 68 ₽ за миллион токенов.

Расчёт для бизнеса: сколько стоит один ответ нейросети

Формула простая: токены входа × цена входа + токены выхода × цена выхода. Покажу на своём проекте.

ИИ-консультант для сайта моей компании по бухгалтерскому аутсорсингу. Модель GPT OSS 120B в Timeweb, 68 ₽ за миллион токенов, один ответ обходится примерно в 0,25 ₽. Обратный счёт: 0,25 ₽ при такой цене – это около 3 700 токенов на ответ. В них инструкция, найденные фрагменты базы, история диалога, вопрос и сам ответ.

Дальше считаем месяц. Допустим, 1 000 диалогов по 5 ответов: 5 000 ответов × 0,25 ₽ = 1 250 ₽ в месяц.

Тот же ответ на других моделях. Возьмём 3 700 токенов: 3 300 на входе и 400 на выходе, без кэша. Это ориентир, токенизаторы у моделей разные:

• gpt-oss-120b в Yandex AI Studio: около 1,11 ₽ за ответ, 5 550 ₽ за 5 000 ответов;
• GigaChat 2 Max: около 2,41 ₽, 12 025 ₽ в месяц;
• YandexGPT Pro 5.1: около 2,96 ₽, 14 800 ₽ в месяц. Её токенизатор режет русский крупнее, на деле токенов будет меньше;
• Claude Sonnet 5.5: около $0,011, $53 в месяц;
• GPT-6 Luna: около $0,0005, $2,65 в месяц.

Вывод из моего опыта: сами токены почти никогда не главная статья расходов. Дороже обходятся ошибки модели. Мой консультант выдумал цену от 80 000 ₽, называл налоговые ставки и обещал запись раньше, чем человек оставил телефон. Всё это закрыл фильтрами в коде. Как собирал консультанта за 3 дня, рассказал в статье ИИ-консультант для сайта за 3 дня. Окупится ли он у вас, можно прикинуть в калькуляторе окупаемости.

Чек-лист: где утекают токены

1. Посчитайте токены одного типичного запроса ещё до запуска.
2. Отдавайте модели только нужные фрагменты базы, целые документы раздувают вход.
3. Обрезайте старую историю диалога, она оплачивается в каждом запросе.
4. Ставьте постоянную инструкцию в начало запроса, тогда её можно кэшировать.
5. Ограничьте длину ответа: выходные токены самые дорогие.
6. Простые задачи отдавайте младшей модели. У GigaChat миллион токенов Lite стоит 65 ₽, Max – 650 ₽.

Бесплатные токены и нейросеть без токенов

Нейросети без токенов не бывает: любая языковая модель читает и пишет токенами. В бесплатных чатах вроде ГигаЧата или Алисы вы их просто не видите. Расходы несёт сервис, а вам он ставит ограничения.

Где взять бесплатные токены для API на октябрь 2026:

• GigaChat API для физлиц. Бесплатный режим на 12 месяцев: 250 млн токенов для моделей Lite, 40 млн для Pro, 25 млн для Max и 50 млн для GigaChat 3 Ultra.
• Timeweb Cloud. На странице цен обещают до 12,5 млн токенов на тест ИИ-агента.
• Anthropic. Новые пользователи API получают небольшую сумму на пробу.

Ещё вариант: открытая модель вроде GPT OSS на своём сервере. За токены тогда не платите никому, зато платите за сервер с видеокартой и его обслуживание. Для малого бизнеса облако с оплатой за токены обычно проще.

Если хотите понять, сколько токенов и денег съест ИИ в вашей задаче, посмотрите как я делаю ИИ-консультанта для сайта или запишитесь на бесплатный разбор на 30 минут. Посчитаем на ваших цифрах.

Частые вопросы про токены

Что такое токен в нейросети простыми словами?

Кусочек текста, которым модель читает и пишет. Частое слово обычно идёт одним токеном, редкое модель собирает из 2–3 кусков. Пробелы, цифры и знаки препинания тоже токены. Например, слово бухгалтерия в токенизаторе GPT-4o – это 2 токена: бухгалтер + ия.

Сколько слов в 1000 токенов?

В английском около 750 слов, такой ориентир дают OpenAI и Anthropic. В русском у современных моделей выходит 450–650 слов, это 2–3 страницы. В старых токенизаторах вроде GPT-4 русских слов в 1000 токенов примерно вдвое меньше.

Миллион токенов это сколько?

Около 3,5–5 млн знаков русского текста, 450–650 тысяч слов или 1 950–2 800 страниц. По-английски это примерно 750 тысяч слов. Окно в 1 млн токенов на октябрь 2026 есть у Claude 4.6 и новее и у моделей GPT-6. По цене миллион токенов стоит от 65 ₽ у GigaChat 2 Lite до $50 за выходные токены у GPT-6 Astra.

Почему русский текст тратит больше токенов?

Словари токенизаторов собирали в основном на английских текстах. Английские слова чаще лежат в словаре целиком, русские модель режет на части. В старом токенизаторе GPT-4 русский абзац занял 150 токенов против 64 у английского перевода. В новом токенизаторе GPT-4o разница сократилась до 75 против 64. YandexGPT Pro режет русский ещё крупнее: 5,2 знака на токен.

Что такое контекстное окно?

Объём текста в токенах, который модель видит за один раз. В него входят инструкция, история переписки, приложенные документы и сам ответ. На октябрь 2026 окно у YandexGPT Pro 5.1 – 32 768 токенов, у GigaChat 2 Max – 128 000, у Claude и GPT-6 – около 1 млн.

Токен в нейросети и криптотокен – одно и то же?

Нет, совпадает только слово. Токен в нейросети – кусок текста, которым считают объём работы модели. Криптотокен – цифровой актив в блокчейне. Ещё токеном называют ключ доступа к API, это третье значение, к тексту оно тоже отношения не имеет.

Источники

• Pricing, документация Anthropic: цены Claude, кэш, пакетный режим, новый токенизатор, контекст 1 млн
• Pricing, документация OpenAI: цены GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna
• GPT-6.1 Sol, GPT-6 Astra, GPT-6 Luna: контекстное окно
• Reasoning models, OpenAI: токены рассуждений
• What are tokens and how to count them, справка OpenAI
• tiktoken, токенизаторы OpenAI, GitHub
• gpt-oss-120b and gpt-oss-20b Model Card: словарь o200k_harmony, контекст 131 072
• Токены, документация Yandex AI Studio
• Правила тарификации, Yandex AI Studio
• Модели генерации, Yandex AI Studio
• Тарифы GigaChat API для юрлиц и для физлиц, Сбер
• Регистрация и покупка токенов, GigaChat: 3–4 символа на токен
• GigaChat 2 Max, Сбер: контекст 128 000
• Цены, Timeweb Cloud
• Страны Anthropic и страны OpenAI