Входные и выходные токены — что это такое
Input and output tokens
Две разные цены: за ваш запрос и за ответ модели.
Что это
Входные токены — запрос вместе с документами и историей разговора. Выходные — текст ответа. Выходные почти всегда дороже, обычно в три-пять раз, а у рассуждающих моделей разрыв больше: их скрытые размышления тоже считаются выходными.
Зачем это знать при выборе модели
Счёт растёт именно на выходных токенах. Модель, которая отвечает коротко и по делу, дешевле болтливой при той же ставке за миллион.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели · Режим рассуждения