Время до первого токена в нейросети — что это такое
Time to first token
Пауза между запросом и началом ответа.
Описание
Сколько человек смотрит на пустой экран, пока модель думает. У обычных моделей это доли секунды, у рассуждающих — десятки секунд: они сначала прорабатывают решение про себя и только потом начинают печатать.
Что учесть при выборе
В чате и поиске пауза заметнее общей скорости: ответ, который начался сразу, ощущается быстрым, даже если печатается неспешно.
Где смотреть на сайте
Величина показана в блоке «Время до первого токена» на главной — посмотреть: разброс от долей секунды до нескольких минут.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели