跳出窗口内卷 Sakana AI 给大模型长文本找了新解法

背景：随着大模型上下文窗口的不断扩展，业界普遍认为单纯增加长度即可提升长文本理解能力，但Sakana AI团队指出，现有Transformer架构的注意力机制和静态参数在处理长序列时存在根本瓶颈。研究目的：该团队通过三项研究（DroPE、REPO、FwPKM）系统性地重构大模型处理长序列的方式，旨在突破长文本理解瓶颈。结论：DroPE通过推理时移除位置编码，释放了模型基于语义的长距离捕捉能力；REPO引入内容感知的动态位置生成，降低了模型的认知负荷；FwPKM则通过快权重记忆模块，实现了推理时的动态记忆更新。这三项工作共同指向一个核心方向：解决长文本难题的关键在于赋予模型在推理阶段实时动态适应的能力，而非单纯扩展上下文窗口。