K2 Think V2
88,9балла- Другие показатели этой модели в наши выгрузки не попали
Индекс открытости
Индекс открытости — тест на одну способность: насколько модель открыта. Оценивает, что именно разработчик выложил: веса, данные обучения, код, лицензию. Модель может называться открытой, а на деле давать только файлы весов.
Что проверяетнасколько модель открыта
Моделей в выгрузке21
Лучшие результаты теста
K2-V2
88,9балла- Вровень с первым местом
Olmo 3.1 32B Think
88,9балла- Вровень с первым местом
Как читать результат
Разрыв между первым и десятым местом — 0,0 пункта: 88,9 против 88,9. Разброс небольшой: по этому тесту модели почти неотличимы, и решать по нему одному не стоит.
Лидеры этого теста занимают высокие места и в общем зачёте: узко заточенных моделей он не выделяет.
Разница в один-два пункта укладывается в разброс между двумя прогонами одной и той же модели. Значимой считается разница от пяти пунктов.
Любой бенчмарк стареет: задачи попадают в открытый доступ, а оттуда — в обучающие данные новых моделей, и высокий балл начинает означать хорошую память, а не сообразительность.
Ограничения теста
Тест меряет одну способность — насколько модель открыта, и его участники в общий рейтинг не входят. Общая оценка модели складывается из сводных индексов по нескольким тестам.