Время до первого токена — что это такое
Time to first token
Пауза между запросом и началом ответа.
Что это
Сколько человек смотрит на пустой экран, пока модель думает. У обычных моделей это доли секунды, у рассуждающих — десятки секунд: они сначала прорабатывают решение про себя и только потом начинают печатать.
Зачем это знать при выборе модели
В чате и поиске пауза заметнее общей скорости: ответ, который начался сразу, ощущается быстрым, даже если печатается неспешно.
Где эта величина видна на сайте
Величина показана в блоке «Кто быстрее начинает отвечать» на главной — посмотреть: разброс от долей секунды до нескольких минут.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели