Локальный запуск — что это такое
Local inference
Модель работает на своём компьютере, без обращения к чужому серверу.
Что это
Возможен только для моделей с открытыми весами. Запрос никуда не уходит, платы за токены нет, но нужна видеопамять: грубая прикидка — примерно два гигабайта на каждый миллиард параметров при обычном сжатии, и вдвое меньше при сильном.
При выборе модели
Единственный способ работать с данными, которые нельзя отдавать наружу. Плата — качество ниже, чем у больших закрытых моделей, и стоимость железа.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели