Kimi K2 0905

Kimi K2 0905 — это сентябрьское обновление Kimi K2 0711. Это крупномасштабная языковая модель Mixture-of-Experts (MoE), разработанная Moonshot AI, с 1 триллионом параметров и 32 миллиардами активных параметров при каждом прямом проходе. Поддерживает вывод с длинным контекстом до 256K токенов, расширенный со 128K. Это обновление улучшает агентное программирование с большей точностью и лучшей обобщающей способностью для различных фреймворков, а также улучшает фронтенд-разработку с более эстетичными и функциональными выводами для веб, 3D и связанных задач. Модель обучена с использованием нового стека, включающего оптимизатор MuonClip для стабильного крупномасштабного обучения MoE.