Параметры модели — что это такое
Model parameters
Число настраиваемых величин внутри модели, буква B в названии.
Что это
Параметры — коэффициенты, которые модель подобрала при обучении. 70B означает семьдесят миллиардов таких коэффициентов. Больше параметров — обычно выше качество и выше требования к железу, но связь не прямая: модель на 30 миллиардов, обученная позже и на лучших данных, регулярно обходит старую на 70.
При выборе модели
На число параметров смотрят при локальном запуске: оно определяет, сколько нужно видеопамяти. Для работы через API оно не значит почти ничего — там важны балл, цена и скорость.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели