Все новости
qwenqwen4-maxartificial-analysisбенчмарки

Qwen4-Max вышла в GA с +9 баллами AA Index. Логпробы намекают, что модель та же

Alibaba перевела Qwen4-Max из превью в GA и поднялась на 9 пунктов индекса Artificial Analysis. Но независимый тест логпробов и реакция Reddit ставят рост под вопрос.

Влад МакаровВлад Макаровпроверил и опубликовал
7 мин чтения
Qwen4-Max вышла в GA с +9 баллами AA Index. Логпробы намекают, что модель та же

Alibaba формально вывела Qwen4-Max из статуса превью 16 ноября — и первым делом показала цифру, которую удобно нести в твит: +9 баллов индекса Artificial Analysis Intelligence Index по сравнению с Qwen3.8-Max. Но не прошло и дня, как в r/LocalLLaMA и r/singularity параллельно разгорелись два спора: один — о том, честно ли эти баллы заработаны, второй — о том, изменилась ли модель вообще. Независимый тест логпробов, который провёл инженер Алексей Фатеев, намекает, что ответ на второй вопрос может быть «нет».

Что формально поменялось с 11 ноября

Превью Qwen4-Max мы разбирали 12 ноября: модель без открытых весов, без обычного pay-as-you-go API, доступная только по подписке Token Plan со скидкой до 92% и дедлайном 25 ноября. GA-релиз снял дедлайн и вернул стандартную тарификацию, но по сути сохранил то же позиционирование — закрытая флагманская модель, которую можно получить только через облако Alibaba.

Preview (11 ноября)GA (16 ноября)
Доступтолько Token Plan + Qwen Studio, до 25.11QwenCloud API, QwenWork, Qoder, Vercel AI Gateway
Цена input/outputскидка 80–92% от базовой$1.50 / $4.50 за млн токенов
Кешированный вход—$0.075 за млн токенов
Контекст (вход/вывод)заявлено 1M / 393Kизмерено 984K / 262K
Весазакрытызакрыты

По официальному блогу Qwen, архитектура — MoE на 2,4 трлн параметров backbone, из которых на токен активируются 71 млрд — против примерно 95 млрд у Qwen3.8-Max, то есть на четверть меньше. Ещё 328 млрд параметров отведены под технику «N-gram Embedding» для более эффективной обработки текстовых паттернов. Alibaba утверждает, что на внутреннем бенчмарке Work360 это даёт рост с 47,74 до 52,69 балла при экономии 24–35% токенов, а средняя стоимость выполнения задачи упала с $4,43 до $1,67 — на 62%.

Главное, что не изменилось: веса так и не открыли. Это особенно заметно на фоне истории самой Alibaba — пишет The New Stack, что в августе компания впервые выложила веса флагманской модели Qwen3.8-Max (хоть и под кастомной, не Apache 2.0 лицензией), и это читалось как разворот к открытости. Qwen4-Max возвращает всё на место: открытыми обещают сделать только младшие модели семейства, без даты.

Тот же вес, другая цена?

Самое интересное за пределами официальных цифр — независимая проверка, которую опубликовал на X инженер Алексей Фатеев. Он прогнал 60 промптов по 4 повтора при температуре 0, сравнивая логпробы первого токена у Preview, у GA на Token Plan и у GA на pay-as-you-go в другом регионе как контроль. Разница между Preview и GA оказалась статистически той же, что и разница между GA и GA на другом сервере, и той же, что разница между моделью и самой собой при повторном запросе — около 0,19–0,21. Топ-1 токен менялся на 2 из 60 промптов для Preview-vs-GA и на 3 из 60 для GA-vs-GA-контроля, то есть в пределах шума недетерминированного API. Вывод Фатеева звучит жёстко: «Preview и GA отличаются друг от друга меньше, чем GA отличается от самой себя на другом сервере. Один и тот же вес, два имени, две цены» — сервер даже называет их по-разному, qwen4.0-max-preview и qwen4-max. Его совет — не платить полную цену за GA, пока скидочный Preview ещё доступен на аккаунте.

Это один пост одного человека, не аудит Alibaba, и его методология — логпробы, а не сравнение весов файл-в-файл. Но он резко меняет контекст истории: если модель под капотом та же, то рост индекса на 9 баллов — это не улучшение модели между превью и GA, а просто более точная или более поздняя оценка одной и той же системы.

+9 баллов, и что с ними делать

По данным Artificial Analysis, приводимым Silicon Report и llm-stats.com, Qwen4-Max получила 43 балла по Intelligence Index v5.0.1 — 38-е место из 81 модели, чуть выше медианы 41 для своей ценовой категории, но заметно отстаёт от топа.

БенчмаркQwen4-MaxДля сравнения
AA Intelligence Index v5.0.143 (#38 из 81)Claude Fable 5.2 — 65, Gemini 4 Carbon — 60, GPT-6 Astra — 57
Terminal-Bench 4.048,5Claude Opus 5.5 — 59,6, Kimi K3.1 Pro — 67,2
DeepSWE 1.175,7Claude Opus 5.5 — 74,2
Work360 (внутренний тест Alibaba)52,69Qwen3.8-Max — 47,74

AA оценивает среднюю стоимость прохождения своего набора задач в $3,27 — и фиксирует 127 млн выходных токенов на оценку, заметно больше медианных 78,6 млн для сопоставимых моделей. Получается нестыковка, которую сообщество заметило первым: Alibaba рапортует о падении токенов на 24–50% в зависимости от теста, а независимый замер AA называет Qwen4-Max «очень многословной» моделью относительно конкурентов. Обе цифры могут быть правдой одновременно — внутри собственного набора задач Alibaba модель действительно экономнее предыдущей версии, но по абсолютному многословию на чужом наборе задач она всё равно расходует больше токенов, чем медианный конкурент.

Сообщество спорит, кто здесь жульничает

Тред «Stop worrying about Qwen 4's AA index» набрал 259 апвоутов и 203 комментария за счёт заходной мысли: даже не дотягивая до фронтира, Qwen исторически оказывается «достаточно хорош» для большинства локальных задач, а градус тревоги вокруг одного индекса сильно превышает его реальную значимость. Автор напоминает, что режим мышления у Qwen4 стал заметно легче, а значит и файнтюны на его основе для 27B и Flash-версий выйдут только лучше.

Параллельный тред в r/singularity читается иначе: заголовок «disappointing 43» и комментарии вроде «реальных моделей только Claude, GPT и, может, Gemini — всё остальное просто их клоны» задают куда более скептический тон. А третий, «AA Intelligence Index biased?» идёт глубже в детали: там утверждают, что единственный бенчмарк, где Qwen4-Max по-настоящему хорош — DeepSWE 1.1 — открытый и, по мнению авторов треда, легко читаемый моделью заранее, то есть малопригодный как доказательство реального превосходства. Интересно, что в r/Qwen_AI звучит и зеркальная претензия — там пользователи пишут, что методология AA «подозрительно» меняется каждый раз, когда оценивают китайскую модель, намекая не на подкрутку бенчмарков Alibaba, а на обратное: предвзятость самого индекса.

Три треда — три разных обвинения в адрес одной цифры: модель переоценивает себя, индекс недооценивает модель, или индекс вообще устроен нечестно в обе стороны по-разному для разных лабораторий. Такое количество взаимоисключающих теорий вокруг одного числа само по себе говорит больше, чем любая из них по отдельности.

Для самого индекса Artificial Analysis это неприятный момент. Методология компании всё активнее опирается на непубличные наборы вопросов именно для того, чтобы лаборатории не могли дообучаться под тест — но доверие к системе держится не на закрытости вопросов, а на ощущении, что цифры объективны и одинаково применяются ко всем. Когда один и тот же релиз одновременно обвиняют в benchmaxing'е и в предвзятом судействе, а независимая проверка логпробов намекает, что сравнивать, возможно, нужно не две модели, а одну модель с собой, индекс перестаёт быть нейтральным мерилом и превращается в ещё один повод для спора вместо того, чтобы его закрывать.

Похожие новости

Листайте вниз

для загрузки следующей статьи