Дистилляция — что это такое
Distillation
Маленькую модель учат повторять ответы большой.
Что это
Крупная модель выступает учителем: на её ответах обучают компактную. Получается модель в разы меньше и дешевле, которая на типовых задачах держится близко к оригиналу, но проваливается на сложных.
Зачем это знать при выборе модели
Так появляется большинство недорогих моделей. Если задача типовая, разница с флагманом почти не видна, а счёт отличается на порядок.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели