Входные и выходные токены — что это такое
Input and output tokens
Две разные цены: за ваш запрос и за ответ модели.
Описание
Входные токены — запрос вместе с документами и историей разговора. Выходные — текст ответа. Выходные дороже входных, в среднем вчетверо, а у рассуждающих моделей разрыв больше: их скрытые размышления тоже считаются выходными.
Что учесть при выборе
Счёт растёт именно на выходных токенах. Модель, которая отвечает коротко и по делу, дешевле болтливой при той же ставке за миллион.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели · Режим рассуждения