Qwen3.8-Flash-Next на 125 миллиардов параметров запустили на 6 ГБ видеопамяти

Релиз 8 сентября 2026 Марк СеверцевОбозреватель AI и машинного обучения · 1 мин чтения

Полный checkpoint открытой модели Qwen3.8-Flash-Next завели на одной RTX 4090: пик потребления видеопамяти — 5,95 ГБ, без квантизации и без урезания модели. Дамп модели при этом занимает около 360 ГБ.

Рисунок нейросети

Приём — послойный запуск: трансформер считает слои по очереди, поэтому держать всю модель в памяти сразу не обязательно. Слой подгружается с диска, считается, память освобождается, дальше идёт следующий. У Flash-Next 48 гибридных слоёв, и целый слой смеси экспертов помещается в память видеокарты — у моделей вроде Kimi K3 один слой разворачивается в десятки гигабайт, и там приходится подгружать отдельных экспертов.

Отдельная сложность — таблица n-грамм на 51 миллиард параметров: в bf16 она занимает около 102 ГБ и целиком не помещается ни в видеопамять, ни в оперативную память машины с 64 ГБ. Обычная загрузка через стандартную библиотеку склеивает эту таблицу в один кусок, поэтому её приходится обходить.

Скорость такого запуска низкая: диск читается на каждом слое. Это способ проверить модель и погонять её на своей машине, а не поставить в работу под нагрузкой.

Где это в наших таблицах

Первоисточник: AirLLM

Похожие новости