Ускорители упираются не в ядра, а в память: Samsung целится в 4 ТБ/с на стек

Языковая модель — это набор весов, которые нужно читать заново для каждого нового токена. Пока запросов немного, переиспользовать загруженное почти не выходит, и скорость определяется не вычислительными блоками, а пропускной способностью памяти. С ростом контекста добавляется KV-кеш: чем длиннее диалог и чем больше одновременных запросов, тем больше данных приходится перечитывать.

Обходные приёмы упираются в физику. Быстрая память на самом кристалле занимает площадь, и держать в ней десятки гигабайт весов невозможно. Переход на короткие форматы FP8 и FP4 уменьшает объём передачи, но модели и контекст растут быстрее, чем освобождается полоса.

Отсюда ставка на ширину шины. В HBM4 интерфейс расширили с 1024 до 2048 бит: вместо того чтобы гнать данные быстрее, добавили полос. Для HBM5 обсуждается ещё одно удвоение, до 4096 бит, — тогда стек и выходит на порядка 4 ТБ/с. Важная оговорка: сама Samsung ширину шины не подтверждала, назвала только целевые показатели, так что 4096 бит и 4 ТБ/с — инженерный прогноз, а не спецификация.

Плата за это — усложнение сборки: десятки тысяч соединений на ограниченной площади, более плотная подложка, ниже процент годных изделий. Энергии стек тоже потребует больше, экономию обещают за счёт базового кристалла по 2-нм технологии вместо 4-нм и новой конструкции отвода тепла.

Для расчётов важно, что двукратная пропускная способность не означает двукратного ускорения. Там, где задача упирается в сами вычисления, новая память почти ничего не изменит; выигрыш будет на операциях, чувствительных к обмену данными, — и на загрузке оборудования в дата-центре.