Hy4: Tencent открыла веса флагманской MoE-модели на 770 млрд параметров
Tencent Hunyuan выложила веса Hy4 (770 млрд параметров, 49 млрд активных) и компактной Hy4-flash (220 млрд/12 млрд) с контекстом 1 млн токенов и Apache 2.0.

770 миллиардов параметров в сумме и всего 49 миллиардов на один токен — именно эта пропорция определяет, во сколько реально обойдётся запуск новой флагманской модели Tencent. Команда Hunyuan выложила веса Hy4 в открытый доступ на Hugging Face, ModelScope, GitCode и CNB под лицензией Apache 2.0, и уже через несколько часов тред об этом в r/LocalLLaMA набрал 342 голоса и 66 комментариев — приличный результат для релиза, который почти не анонсировался на английском языке за пределами техничных аккаунтов на X.
Архитектура: MoE, разреженное внимание и четыре потока остатка
Hy4 — это mixture-of-experts модель с 78 слоями: первый слой использует обычную плотную FFN, а оставшиеся 77 заменяют её на MoE-блоки с 256 маршрутизируемыми экспертами и одним общим, который активен всегда. На каждый токен выбираются топ-8 маршрутизируемых экспертов плюс общий — отсюда и 49 млрд активных параметров из 770 млрд общих. Отдельно к backbone пристроен MTP-слой (10 млрд параметров, 0,7 млрд активных) для спекулятивного декодирования.
| Параметр | Значение |
|---|---|
| Всего параметров | 770 млрд |
| Активных на токен | 49 млрд |
| Слоёв | 78 (1 dense + 77 MoE) |
| Маршрутизируемых экспертов | 256, топ-8 на токен |
| Общих экспертов | 1 (всегда активен) |
| Контекст | 1 000 000 токенов |
| Скрытый размер | 6144 |
| Словарь | 120 832 токена |
| Лицензия | Apache 2.0 |
На уровне внимания Hunyuan позаимствовала и развила подход DeepSeek и GLM: механизм называется Gated DSA (Gated DeepSeek Sparse Attention) и работает в паре с IndexCache, который переиспользует индексы разреженного внимания между слоями вместо пересчёта на каждом шаге. А в остаточном потоке вместо одной «трубы» между слоями используется iHC (identity Hyper-Connections) — четыре параллельных канала, которые, по замыслу разработчиков, дают модели больше путей для переноса информации через 78-слойный стек. Обе техники решают одну и ту же задачу: сделать контекст на миллион токенов посильным по памяти и вычислениям, а не только красивой цифрой в анонсе.
Для развёртывания Tencent сразу выпустила официальные Docker-образы для vLLM и SGLang, с рекомендацией tensor-parallel на восемь GPU даже для FP8-квантованной версии — то есть это модель для серверного кластера, а не для одной видеокарты.
Где Hy4 реально конкурирует с лидерами
Самое интересное в релизе — не архитектура, а то, как Tencent расставляет Hy4 среди конкурентов по двум бенчмаркам, которые компания выделила особо: FrontierCode 2.0 (агентное программирование на реальных задачах) и OSWorld 2.1 (автономная работа с компьютером — мышь, клавиатура, GUI).
| Бенчмарк | Hy4 | GLM 5.3 | DeepSeek-V4.1-Flash | Kimi K3.1 Pro | GPT-6.1 Sol | Claude Opus 5.5 |
|---|---|---|---|---|---|---|
| FrontierCode 2.0 | 31,0% | 21,6% | 28,5% | 25,5% | 40,6% | 46,4% |
| OSWorld 2.1 | 78,9% | — | — | — | 75,2% | 81,8% |
Картина неоднозначная, и это важная деталь: на FrontierCode 2.0 Hy4 действительно обходит все перечисленные открытые китайские модели — GLM 5.3, DeepSeek-V4.1-Flash и Kimi K3.1 Pro, — но до GPT-6.1 Sol и особенно до Claude Opus 5.5 ей ещё далеко, разрыв больше 15 пунктов. А вот на OSWorld 2.1, где измеряется именно агентное управление компьютером, разрыв с лидерами куда скромнее: Hy4 обходит GPT-6.1 Sol (78,9% против 75,2%) и отстаёт от Claude Opus 5.5 всего на три пункта. Для открытой модели это заметный результат — именно агентное использование компьютера обычно остаётся слабым местом open-weight релизов.
Tencent подтверждает прогресс и внутренней слепой оценкой: 163 эксперта компании сравнили ответы моделей на 203 реальных инженерных задачах без знания того, какая модель что написала. Hy4 набрала в среднем 2,99 балла против 2,92 у GLM 5.3 (46,8% побед, 12,8% ничьих, 40,4% поражений) и 2,99 против 2,94 у Kimi K3 (51,2% побед, 7,9% ничьих, 40,9% поражений). Разрывы узкие в обе стороны — это не разгром, а модель, которая чаще выигрывает, чем проигрывает, на задачах, которыми реально занимаются инженерные команды внутри Tencent.
Младшая модель: Hy4-flash
Вместе с флагманом вышла и компактная Hy4-flash — 220 млрд параметров (включая 64 млрд так называемых Engram-параметров, отдельного компонента памяти) при всего 12 млрд активных на токен, с тем же контекстом на 1 млн токенов и нативной мультимодальностью. Это ответ на главную проблему флагмана: 770 млрд параметров нужно где-то хранить целиком, даже если активируется из них меньше 7%.
Реакция на Hy4-flash в r/LocalLLaMA оказалась заметно теплее, чем на сам флагман: в посте «Hy4-flash first impression: it's got AMAZING coding taste» пользователи описывают первый черновик кода как «на 99% готовый без правок», с чистой структурой и комментариями по делу. В соседнем треде сравнивали квантованные версии модели — сообщество быстро добилось сжатия до 49 ГБ, что укладывается в 64 ГБ видеопамяти, а на связке GPU и системной памяти модель заработала и на менее экзотических конфигурациях. Команда Hunyuan вместе с исследователем Шуньюй Яо даже провела AMA на r/LocalLLaMA, отвечая на вопросы об эффективности и архитектурных решениях сразу по обеим моделям.
Для рынка открытых моделей релиз Hy4 — это не столько заявка на абсолютное лидерство, сколько демонстрация того, что китайские лаборатории продолжают закрывать разрыв с закрытыми флагманами именно там, где это сложнее всего: в агентных задачах с реальным взаимодействием с компьютером, а не только в тестах на знания. Как отмечает daily.dev, пока опубликованы только веса базовой модели — независимая проверка бенчмарков и полная документация лицензии появятся по мере того, как сообщество и сторонние лаборатории прогонят Hy4 через собственные тесты.


