Токен — что это такое
Token
Кусочек текста, которым модель меряет объём работы.
Что это
Токен — единица, на которые модель режет текст перед обработкой. Это не слово и не буква: короткое слово обычно один токен, длинное русское слово два-три, знак препинания отдельный токен. Для прикидки: страница текста примерно 1 400 токенов, миллион токенов — около 700 страниц.
Зачем это знать при выборе модели
Вся оплата API считается в токенах, а не в символах или запросах. Русский текст обходится дороже английского почти вдвое: кириллица режется на большее число токенов.
Где эта величина видна на сайте
Величина показана в колонках цены общего рейтинга — посмотреть: например, 4 338 ₽ за миллион выходных токенов.
Другие термины
Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели · Режим рассуждения