Все новости
tencenthunyuanopen-sourceрелиз

Hy4: Tencent открыла веса флагманской MoE-модели на 770 млрд параметров

Tencent Hunyuan выложила веса Hy4 (770 млрд параметров, 49 млрд активных) и компактной Hy4-flash (220 млрд/12 млрд) с контекстом 1 млн токенов и Apache 2.0.

Влад МакаровВлад Макаровпроверил и опубликовал
6 мин чтения
Hy4: Tencent открыла веса флагманской MoE-модели на 770 млрд параметров

770 миллиардов параметров в сумме и всего 49 миллиардов на один токен — именно эта пропорция определяет, во сколько реально обойдётся запуск новой флагманской модели Tencent. Команда Hunyuan выложила веса Hy4 в открытый доступ на Hugging Face, ModelScope, GitCode и CNB под лицензией Apache 2.0, и уже через несколько часов тред об этом в r/LocalLLaMA набрал 342 голоса и 66 комментариев — приличный результат для релиза, который почти не анонсировался на английском языке за пределами техничных аккаунтов на X.

Архитектура: MoE, разреженное внимание и четыре потока остатка

Hy4 — это mixture-of-experts модель с 78 слоями: первый слой использует обычную плотную FFN, а оставшиеся 77 заменяют её на MoE-блоки с 256 маршрутизируемыми экспертами и одним общим, который активен всегда. На каждый токен выбираются топ-8 маршрутизируемых экспертов плюс общий — отсюда и 49 млрд активных параметров из 770 млрд общих. Отдельно к backbone пристроен MTP-слой (10 млрд параметров, 0,7 млрд активных) для спекулятивного декодирования.

ПараметрЗначение
Всего параметров770 млрд
Активных на токен49 млрд
Слоёв78 (1 dense + 77 MoE)
Маршрутизируемых экспертов256, топ-8 на токен
Общих экспертов1 (всегда активен)
Контекст1 000 000 токенов
Скрытый размер6144
Словарь120 832 токена
ЛицензияApache 2.0

На уровне внимания Hunyuan позаимствовала и развила подход DeepSeek и GLM: механизм называется Gated DSA (Gated DeepSeek Sparse Attention) и работает в паре с IndexCache, который переиспользует индексы разреженного внимания между слоями вместо пересчёта на каждом шаге. А в остаточном потоке вместо одной «трубы» между слоями используется iHC (identity Hyper-Connections) — четыре параллельных канала, которые, по замыслу разработчиков, дают модели больше путей для переноса информации через 78-слойный стек. Обе техники решают одну и ту же задачу: сделать контекст на миллион токенов посильным по памяти и вычислениям, а не только красивой цифрой в анонсе.

Для развёртывания Tencent сразу выпустила официальные Docker-образы для vLLM и SGLang, с рекомендацией tensor-parallel на восемь GPU даже для FP8-квантованной версии — то есть это модель для серверного кластера, а не для одной видеокарты.

Где Hy4 реально конкурирует с лидерами

Самое интересное в релизе — не архитектура, а то, как Tencent расставляет Hy4 среди конкурентов по двум бенчмаркам, которые компания выделила особо: FrontierCode 2.0 (агентное программирование на реальных задачах) и OSWorld 2.1 (автономная работа с компьютером — мышь, клавиатура, GUI).

БенчмаркHy4GLM 5.3DeepSeek-V4.1-FlashKimi K3.1 ProGPT-6.1 SolClaude Opus 5.5
FrontierCode 2.031,0%21,6%28,5%25,5%40,6%46,4%
OSWorld 2.178,9%———75,2%81,8%

Картина неоднозначная, и это важная деталь: на FrontierCode 2.0 Hy4 действительно обходит все перечисленные открытые китайские модели — GLM 5.3, DeepSeek-V4.1-Flash и Kimi K3.1 Pro, — но до GPT-6.1 Sol и особенно до Claude Opus 5.5 ей ещё далеко, разрыв больше 15 пунктов. А вот на OSWorld 2.1, где измеряется именно агентное управление компьютером, разрыв с лидерами куда скромнее: Hy4 обходит GPT-6.1 Sol (78,9% против 75,2%) и отстаёт от Claude Opus 5.5 всего на три пункта. Для открытой модели это заметный результат — именно агентное использование компьютера обычно остаётся слабым местом open-weight релизов.

Tencent подтверждает прогресс и внутренней слепой оценкой: 163 эксперта компании сравнили ответы моделей на 203 реальных инженерных задачах без знания того, какая модель что написала. Hy4 набрала в среднем 2,99 балла против 2,92 у GLM 5.3 (46,8% побед, 12,8% ничьих, 40,4% поражений) и 2,99 против 2,94 у Kimi K3 (51,2% побед, 7,9% ничьих, 40,9% поражений). Разрывы узкие в обе стороны — это не разгром, а модель, которая чаще выигрывает, чем проигрывает, на задачах, которыми реально занимаются инженерные команды внутри Tencent.

Младшая модель: Hy4-flash

Вместе с флагманом вышла и компактная Hy4-flash — 220 млрд параметров (включая 64 млрд так называемых Engram-параметров, отдельного компонента памяти) при всего 12 млрд активных на токен, с тем же контекстом на 1 млн токенов и нативной мультимодальностью. Это ответ на главную проблему флагмана: 770 млрд параметров нужно где-то хранить целиком, даже если активируется из них меньше 7%.

Реакция на Hy4-flash в r/LocalLLaMA оказалась заметно теплее, чем на сам флагман: в посте «Hy4-flash first impression: it's got AMAZING coding taste» пользователи описывают первый черновик кода как «на 99% готовый без правок», с чистой структурой и комментариями по делу. В соседнем треде сравнивали квантованные версии модели — сообщество быстро добилось сжатия до 49 ГБ, что укладывается в 64 ГБ видеопамяти, а на связке GPU и системной памяти модель заработала и на менее экзотических конфигурациях. Команда Hunyuan вместе с исследователем Шуньюй Яо даже провела AMA на r/LocalLLaMA, отвечая на вопросы об эффективности и архитектурных решениях сразу по обеим моделям.

Для рынка открытых моделей релиз Hy4 — это не столько заявка на абсолютное лидерство, сколько демонстрация того, что китайские лаборатории продолжают закрывать разрыв с закрытыми флагманами именно там, где это сложнее всего: в агентных задачах с реальным взаимодействием с компьютером, а не только в тестах на знания. Как отмечает daily.dev, пока опубликованы только веса базовой модели — независимая проверка бенчмарков и полная документация лицензии появятся по мере того, как сообщество и сторонние лаборатории прогонят Hy4 через собственные тесты.

Похожие новости

Листайте вниз

для загрузки следующей статьи