K2 Horizon MoVA 36B-A4B — разреженная модель рассуждения среднего размера из семейства K2 Horizon (IFM, MBZUAI): 36 млрд параметров всего и около 4 млрд активных на токен (48 слоёв, 100 маршрутизируемых экспертов, из которых 8 активны, плюс 1 общий). Помимо MoE применяет новое внимание Mixture-of-Value Attention (MoVA), где роутер выбирает несколько экспертов проецирования значений для каждого токена. Предобучена на 22,9 трлн токенов с нативным контекстом 524 288 токенов (512K) начиная со среднего этапа обучения; работает с текстом на входе и выходе, усилие рассуждения задаётся на запрос (рекомендуется высокое), есть JSON/XML-форматы вызова инструментов. Выпущена 03.09.2026 под Apache 2.0 с весами BF16 и сборками FP8 и GGUF, промежуточными чекпойнтами, данными, кодом и логами.
Основные характеристики
Временная шкала
Технические характеристики
Результаты бенчмарков
Показатели производительности модели на различных тестах и бенчмарках
Рассуждения
Другие тесты
Лицензия и метаданные
K2 Horizon MoVA 36B-A4B: плюсы и минусы
Плюсы
- Открытые веса — можно запустить на своём сервере
- Сильнее всего в тесте GPQA — 80.8%
Минусы
- Работает только с текстом — картинки не понимает
- Слабее в тесте CritPT — 2.1%
- Нет данных о доступе по API
Похожие модели
Все моделиK2 Horizon 32B
Institute of Foundation Models
K2 Horizon 375B-A23B
Institute of Foundation Models
Phi 4
Microsoft
GPT OSS 20B High
OpenAI
Phi 4 Reasoning Plus
Microsoft
Llama 3.3 70B Instruct
Meta
Phi 4 Reasoning
Microsoft
Llama 3.1 70B Instruct
Meta
Рекомендации основаны на схожести характеристик: организация-разработчик, мультимодальность, размер параметров и производительность в бенчмарках. Выберите модель для сравнения или перейдите к полному каталогу для просмотра всех доступных моделей ИИ.