1
1 853,0балла- Другие показатели этой модели в наши выгрузки не попали
GDPval-AA — тест на реальная работа за деньги. Задания, взятые из настоящих профессий: то, за что людям платят зарплату. Оценивает не абстрактный интеллект, а годность к работе.
Разрыв между первым и десятым местом — 122,0 пункта: 1 853,0 против 1 731,0. Тест хорошо разводит модели по уровню.
Лидеры этого теста занимают высокие места и в общем зачёте: узко заточенных моделей он не выделяет.
Разница в один-два пункта укладывается в разброс между двумя прогонами одной и той же модели. Значимой считается разница от пяти пунктов.
Любой бенчмарк стареет: задачи попадают в открытый доступ, а оттуда — в обучающие данные новых моделей, и высокий балл начинает означать хорошую память, а не сообразительность.
Тест меряет одну способность — реальная работа за деньги. Его участники в нашу основную выгрузку не попали, поэтому сравнить их место в общем рейтинге нельзя. Итоговые оценки на сайте считаются по сводным индексам из нескольких тестов.