K2 Horizon MoVA 36B-A4B

Institute of Foundation Models

K2 Horizon MoVA 36B-A4B — разреженная модель рассуждения среднего размера из семейства K2 Horizon (IFM, MBZUAI): 36 млрд параметров всего и около 4 млрд активных на токен (48 слоёв, 100 маршрутизируемых экспертов, из которых 8 активны, плюс 1 общий). Помимо MoE применяет новое внимание Mixture-of-Value Attention (MoVA), где роутер выбирает несколько экспертов проецирования значений для каждого токена. Предобучена на 22,9 трлн токенов с нативным контекстом 524 288 токенов (512K) начиная со среднего этапа обучения; работает с текстом на входе и выходе, усилие рассуждения задаётся на запрос (рекомендуется высокое), есть JSON/XML-форматы вызова инструментов. Выпущена 03.09.2026 под Apache 2.0 с весами BF16 и сборками FP8 и GGUF, промежуточными чекпойнтами, данными, кодом и логами.

Основные характеристики

Параметры
36.0B
Контекст
-
Дата выпуска
3 сентября 2026 г.
Индекс
29.3

Временная шкала

Ключевые даты в истории модели
Анонс
3 сентября 2026 г.
Последнее обновление
21 ноября 2026 г.

Технические характеристики

Параметры
36.0B
Токены обучения
22.9T токенов
Граница знаний
-
Семейство
-
Возможности
МультимодальностьZeroEval

Результаты бенчмарков

Показатели производительности модели на различных тестах и бенчмарках

Рассуждения

Логические рассуждения и анализ
GPQA
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95; GPQA Diamond • данные разработчика
80.8%

Другие тесты

Специализированные бенчмарки
AA-LCR
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95; рассуждение с длинным контекстом • данные разработчика
66.3%
CritPT
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95 • данные разработчика
2.1%
Humanity's Last Exam
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95; Без инструментов • данные разработчика
25.2%
OmniScience
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95; Точность OmniScience • данные разработчика
18.8%
OmniScience (non-hallucination rate)
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95 • данные разработчика
69.2%
SciCode
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95 • данные разработчика
38.9%
Tau3 Banking
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95 • данные разработчика
26.8%
Terminal-Bench 2.1
Карточка модели IFM K2-Horizon-MoVA-36B-A4B на Hugging Face, финальный чекпоинт; reasoning_effort=high, temperature=1.0, top_p=0.95 • данные разработчика
58.6%

Лицензия и метаданные

Лицензия
Apache 2.0
Дата анонса
3 сентября 2026 г.
Последнее обновление
21 ноября 2026 г.

K2 Horizon MoVA 36B-A4B: плюсы и минусы

Плюсы

  • Открытые веса — можно запустить на своём сервере
  • Сильнее всего в тесте GPQA — 80.8%

Минусы

  • Работает только с текстом — картинки не понимает
  • Слабее в тесте CritPT — 2.1%
  • Нет данных о доступе по API

Похожие модели

Все модели

Рекомендации основаны на схожести характеристик: организация-разработчик, мультимодальность, размер параметров и производительность в бенчмарках. Выберите модель для сравнения или перейдите к полному каталогу для просмотра всех доступных моделей ИИ.