Замеры разошлись: у Epoch AI новая GPT-6 Astra первая, у Artificial Analysis — нет

Epoch AI считает математику, знания и головоломки — здесь Astra впереди. Artificial Analysis собирает общий индекс, в котором большой вес у программирования и агентных задач, и там верх держит Fable 5.1. У Epoch по коду для Astra пока вообще один замер, и тот сделан на среднем уровне рассуждения, так что сравнивать модели по коду по этим данным ещё рано.

Самый заметный отрыв Astra показала на ARC-AGI-3 — наборе игровых миров, правила которых модели не объясняют, до всего надо дойти пробами. Astra прошла 62,7 % против 7,78 % у Sol и 30,16 % у Claude Opus 5. Прогон стоил около 26 тысяч долларов. OpenAI отдельно объявила 99,9 %, но этот результат получен на её собственной обвязке, которая переносит рассуждение между запросами и сжимает длинные прогоны; организаторы засчитывают только 62,7 % со своей обвязки — иначе разработчики сравниваются не между собой, а между обвязками.

Странность в другом. Обычно чем больше модель думает, тем дороже прогон. У Astra наоборот: без рассуждения тест обошёлся в 49 791 доллар при 35,2 % результата, на максимальном усилии — в 26 098 долларов при 62,7 %. Она решает игры за меньшее число ходов, а значит делает меньше вызовов и тратит меньше токенов.

Расход и в цене отражается неоднозначно. Единица текста у Astra в два с половиной раза дороже, чем у Sol, но одна задача выходит дороже примерно на 75 %, а не в два с половиной раза — модель обходится третью тех шагов, которые тратит Sol, и пятой частью того, что тратит Opus 5. Доля выдумок на замере AA-Omniscience упала с 92 до 51 %. При этом на GDPval-AA v2 модель теряет около 80 очков Elo и просаживается на длинном контексте и банковской поддержке.