Квантизация — что это такое
Quantization
Сжатие модели ради экономии памяти и скорости.
Что это
Числа внутри модели хранят с меньшей точностью: вместо 16 бит на значение — 8 или 4. Модель занимает в два-четыре раза меньше памяти и работает быстрее, теряя часть качества, обычно небольшую.
Зачем это знать при выборе модели
Именно благодаря квантизации крупные открытые модели запускают на обычной видеокарте. У поставщиков API это скрытый параметр: одна и та же модель у разных провайдеров может работать в разном качестве.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели