1
88,9балла- Другие показатели этой модели в наши выгрузки не попали
Индекс открытости — тест на насколько модель открыта. Оценивает, что именно разработчик выложил: веса, данные обучения, код, лицензию. Модель может называться открытой, а на деле давать только файлы весов.
Разрыв между первым и десятым местом — 0,0 пункта: 88,9 против 88,9. Разброс небольшой: по этому тесту модели почти неотличимы, и решать по нему одному не стоит.
Лидеры этого теста занимают высокие места и в общем зачёте: узко заточенных моделей он не выделяет.
Разница в один-два пункта укладывается в разброс между двумя прогонами одной и той же модели. Значимой считается разница от пяти пунктов.
Любой бенчмарк стареет: задачи попадают в открытый доступ, а оттуда — в обучающие данные новых моделей, и высокий балл начинает означать хорошую память, а не сообразительность.
Тест меряет одну способность — насколько модель открыта. Его участники в нашу основную выгрузку не попали, поэтому сравнить их место в общем рейтинге нельзя. Итоговые оценки на сайте считаются по сводным индексам из нескольких тестов.