Transformer作者带队，Sakana AI连发三文：彻底重构长文本的记忆机制

背景：随着大模型上下文窗口不断延长，业界普遍认为单纯扩展窗口即可提升长文本理解能力。研究目的：由Transformer原作者领衔的Sakana AI团队通过三篇论文，系统性质疑并重构了Transformer处理长序列的机制，旨在突破现有注意力机制和静态参数在动态推理时的瓶颈。结论：研究提出了三种创新方案：DroPE主张在推理时移除位置编码以释放语义检索能力；REPO引入内容感知的动态位置生成以降低模型认知负荷；FwPKM则设计了支持推理时实时更新的外部记忆模块。这些工作共同指向一个核心方向，即解决长文本难题的关键在于赋予模型在推理阶段动态适应与调整自身状态的能力，而非仅仅依赖硬件扩展上下文长度。