AA-Omniscience
AA-Omniscience — тест на знания вместе со склонностью выдумывать. Считает не только правильные ответы, но и уверенные выдумки. Модель, которая часто ошибается с уверенным видом, получает низкий балл, даже если много знает. Один из немногих тестов, где честное «не знаю» ценится.
Результаты этого теста в наши выгрузки пока не попали: таблица появится, когда источник отдаст цифры. Описание теста ниже от этого не меняется.
Как читать результат
Разница в один-два пункта укладывается в разброс между двумя прогонами одной и той же модели. Значимой считается разница от пяти пунктов.
Любой бенчмарк стареет: задачи попадают в открытый доступ, а оттуда — в обучающие данные новых моделей, и высокий балл начинает означать хорошую память, а не сообразительность.
Что этот тест не покрывает
Тест меряет одну способность — знания вместе со склонностью выдумывать. Даже полный набор результатов не сказал бы, годится ли модель для конкретной работы: для этого на сайте есть сводные индексы и разделы под задачу.