两万字长文解读！RoPE如何让大模型拥有超长记忆

本文深入探讨了旋转位置编码（RoPE）如何解决Transformer架构中位置编码的核心挑战。背景方面，传统的可学习绝对位置编码存在长度外推性差的问题，而正弦位置编码则因与词向量相加导致信息污染，无法有效保留相对位置关系。研究目的旨在设计一种既能编码相对位置信息，又具备强大外推能力且不干扰语义的位置编码方案。结论表明，RoPE通过将位置信息编码为向量的旋转操作，在注意力计算中自然地实现了相对位置感知，形成了具有托普利茨结构的注意力矩阵，从而在理论上和实践中均实现了优秀的外推性能，已成为现代大语言模型的事实标准。