不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍

背景：随着大模型处理长文本需求的增长，如何高效管理上下文记忆成为关键挑战。研究目的：英伟达联合多所高校提出TTT-E2E方法，旨在通过动态学习将关键内容压缩到模型权重中，避免额外缓存负担，提升长文本处理效率。结论：该方法在128K上下文上比全注意力模型快2.7倍，性能持平，且推理延迟与上下文长度无关，但在需要精准回忆细节的任务中表现不如全注意力模型，且训练阶段的元学习计算成本较高。