Смесь экспертов — что это такое
Mixture of Experts, MoE
Модель, где на каждый запрос работает лишь часть параметров.
Что это
Внутри модель разбита на блоки-эксперты, и на каждом шаге включаются не все, а несколько подходящих. Отсюда двойное число в названии вида 122B A10B: сто двадцать два миллиарда параметров всего, десять миллиардов активных.
При выборе модели
Такая модель считает быстрее и дешевле плотной модели того же размера. При локальном запуске в память нужно поместить все параметры, а не только активные, поэтому экономии на железе смесь экспертов не даёт.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели