MiniCPM-SALA

MiniCPM-SALA (Sparse Attention and Linear Attention) — гибридная модель на 9B параметров, полученная из чекпойнта MiniCPM-4.0 непрерывным дообучением (около 2T токенов, 25% стоимости обучения с нуля). Она чередует 25% слоёв разреженного внимания InfLLM-V2 и 75% слоёв Lightning Attention, что даёт ускорение инференса до 3,5x относительно плотных базовых моделей на 256K токенов. Благодаря HyPE (Hybrid Positional Encoding) и NoPE в разреженных слоях модель экстраполируется до 2048K токенов при длине обучения 520K, что позволяет запускать инференс с контекстом 1M токенов на потребительских GPU вроде RTX 5090.