Дистилляция — что это такое
Distillation
Маленькую модель учат повторять ответы большой.
Описание
Крупная модель выступает учителем: на её ответах обучают компактную. Получается модель меньше и дешевле, которая на типовых задачах держится близко к оригиналу, но проваливается на сложных.
Что учесть при выборе
Так появляется большинство недорогих моделей. Если задача типовая, разница с флагманом почти не видна, а миллион выходных токенов стоит сотни рублей вместо тысяч.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели