Transformer范式变了？稀疏线性混合架构SALA发布，单卡5090跑通百万长文

背景：Transformer架构的全注意力机制在处理长文本时面临平方级计算复杂度和高显存占用的瓶颈，限制了超长上下文处理能力。研究目的：OpenBMB团队提出稀疏-线性混合注意力架构SALA，并发布基于该架构的文本模型MiniCPM-SALA，旨在实现高效的长文本处理与极致推理性价比。结论：MiniCPM-SALA在长文本理解与生成评测中表现优异，保持与同规模全注意力模型相当的通用能力，在256K词元序列长度下推理速度达Qwen3-8B的3.5倍，支持单卡5090处理百万词元上下文，突破了显存和计算限制。