Transformer范式变了？稀疏线性混合架构SALA发布，单卡5090跑通百万长文

背景：Transformer架构的全注意力机制在处理长文本时面临平方级计算复杂度和高显存占用的瓶颈，制约了超长上下文处理能力。研究目的：OpenBMB团队提出稀疏-线性混合注意力架构SALA，并发布基于该架构的文本模型MiniCPM-SALA，旨在平衡长文本处理效率与模型性能。结论：MiniCPM-SALA在保持与同规模全注意力模型相当的通用能力（如知识问答、数学推理）的同时，在长上下文基准测试中表现优异，支持百万词元上下文长度推理，在云端和消费级GPU上实现显著加速，例如在256K词元长度下推理速度达Qwen3-8B的3.5倍，展示了高效长文本处理的潜力。