Qwen3.8 27B ужали до 6 ГБ: Ternary Bonsai 2 сохраняет 98% качества и работает на ноутбуке

Новость 18 сентября 2026 Игорь БелозёровАналитик и журналист · 1 мин чтения

PrismML выложила Ternary Bonsai 2 27B — сжатую версию Qwen3.8 27B, в которой каждый вес принимает одно из трёх значений. Файл весит около 6 ГБ вместо 55 ГБ у исходной модели, а в среднем по тестам сохраняется 98,2% её результата.

Рисунок нейросети

Обычно веса модели хранят в 16 битах. В Bonsai каждый вес равен −1, 0 или +1, а общий множитель задаётся на группу из 128 весов. В среднем получается 1,72 бита на вес — примерно в 9,3 раза компактнее исходника. Готовый файл в формате GGUF занимает 5,95 ГБ, вариант с упаковкой побольше — 7,21 ГБ.

По замерам PrismML средний балл по набору тестов — 84,78 против 86,32 у исходной модели в 16 битах. В математике потеря почти незаметна: 96,57 против 97,06. На задачах по коду сжатая версия даже чуть выше исходника: 89,42 против 89,07. Контекстное окно осталось прежним — 262 тыс. токенов.

Скорость генерации на MacBook с M5 Max — около 47 токенов в секунду, на M5 Pro — около 28. На видеокарте RTX 5090 выходит почти 130 токенов в секунду. Веса распространяются под лицензией Apache 2.0, поэтому модель можно использовать и в коммерческих проектах.

Где это в наших таблицах

Первоисточник: PrismML

Похожие новости