Бенчмарк — что это такое
Benchmark
Набор заданий с известными ответами, одинаковый для всех моделей.
Что это
Модели дают одни и те же задачи и считают долю решённых. GPQA проверяет научные знания уровня аспиранта, AIME — олимпиадную математику, LiveCodeBench — программирование. Из нескольких бенчмарков складывают сводные индексы.
Зачем это знать при выборе модели
Бенчмарк показывает узкую способность, а не общее качество. И он стареет: задачи попадают в обучающие данные новых моделей, и результат перестаёт что-либо значить.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели