Потоковая выдача — что это такое
Streaming
Ответ приходит по мере написания, а не целиком в конце.
Что это
Сервер отдаёт текст кусками, и первые слова появляются через доли секунды, хотя весь ответ будет готов через минуту. Общая скорость от этого не меняется — меняется ощущение отзывчивости.
При выборе модели
Именно поэтому время до первого токена меряют отдельно от скорости: для чата первое важнее второго.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели