llama.cpp 0.4.0 научился запускать Qwen3.8-Flash-Next на своём компьютере

llama.cpp — то, на чём открытые модели запускаются без облака: на домашней видеокарте, на рабочем ноутбуке, на своём сервере. Поддержка новой архитектуры здесь означает простую вещь — модель, которая вчера была доступна только через посредника за деньги, сегодня работает на своём железе.

Из прикладного в выпуске: режим ленивого чтения тензоров (--lazy-mode) и ограничение памяти при квантовании — обе правки про то, чтобы модель влезала в машину, а не упиралась в пик оперативной памяти при загрузке. В серверной части появился предел контекста на каждый сеанс: раньше один длинный разговор мог съесть память у остальных.

Обвязка ggml обновилась до 0.23.0 — там разреженный вариант flash attention и работа с RDMA, то есть с быстрым обменом между машинами. Разработчики отдельно отмечают, что поддержка Qwen3.8-Flash-Next пока начальная и оптимизации ещё впереди.

Кроме двух главных моделей в выпуск попали DSpark для Nemotron 3.5 и небольшая nanbeige4.2-3B — такие модели как раз и живут на локальных машинах, где памяти мало, а платить за каждый запрос не хочется.

Предел контекста на сеанс в серверной части — правка для тех, кто держит одну машину на команду или на небольшой сервис: раньше один длинный разговор мог занять память, и остальные запросы начинали ждать. Вместе с ленивым чтением весов это тот случай, когда выпуск не про баллы, а про то, влезет ли модель в имеющееся железо.