Токенов в секунду — что это такое
Tokens per second
Скорость, с которой модель печатает ответ.
Что это
Показывает, как быстро идёт текст после того, как ответ начался. Сто токенов в секунду быстрее, чем человек успевает читать. Значение зависит не только от модели, но и от того, у какого поставщика она запущена.
Зачем это знать при выборе модели
Важна там, где ответ читают по мере появления. Если ответ уходит в обработку программой, скорость печати роли не играет.
Где эта величина видна на сайте
Величина показана в подборке самых быстрых — посмотреть: лучший результат — 1 520 токенов в секунду.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели