大模型上下文卡壳？MIT 用线性回归轻松破局

背景：随着大模型处理长上下文任务（如推理、多轮对话）的需求增长，存储历史Token键值对（KV）缓存导致显存占用成为关键瓶颈。传统压缩方法在高压缩率下性能下降快，而现有方案如Cartridges虽有效但端到端梯度优化成本极高。研究目的：MIT团队提出一种名为“Attention Matching”的新方法，旨在通过线性回归等高效线性代数技术，快速压缩KV缓存，以极低成本实现高压缩率并保持模型性能。结论：该方法将复杂的压缩问题分解为键选择、偏置拟合和值拟合三个可高效求解的线性子任务，无需梯度下降，在保持与Cartridges相当压缩精度的同时，将压缩时间缩短了两个数量级，并适用于在线连续压缩等实际场景，为资源受限下的长周期计算提供了可行方案。