首页 > 计算机科学

不调参、不费力!上海交大&上海AI Lab推出“记忆解码器”,任意LLM无缝自适应

学术头条 2025-08-26 15:53
文章摘要
背景:大语言模型在专业领域常因缺乏深度知识而表现不佳,现有方法如领域自适应预训练和检索增强生成存在计算效率低或推理延迟高的问题。研究目的:上海交通大学与上海AI Lab团队提出“记忆解码器”,旨在实现无需修改原模型参数、可跨模型适配的高效领域适应解决方案。结论:该模块能显著降低困惑度(平均6.17%),在生物医学、金融和法律领域保持通用能力的同时提升性能,且支持跨模型和词汇迁移,但预训练阶段仍需计算开销且跨架构迁移需部分参数调整。
不调参、不费力!上海交大&上海AI Lab推出“记忆解码器”,任意LLM无缝自适应
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
最新文章
LeCun团队连发三文:从稀疏表征到梯度规划,世界模型技术栈再进阶
LeCun团队连发三文:从稀疏表征到梯度规划,世界模型技术栈再进阶
针对世界模型落地难题,LeCun 团队连发三文,给出从算法到工程的全栈最优解。近期,Yann LeCun 团队连发三文,重点攻关非生成式世界模型(World Models)当前面临的三大技术痛点。非生
2026-02-09
比二维码还小!Meta发布TinyLoRA:13个参数媲美全量,RL完胜SFT
比二维码还小!Meta发布TinyLoRA:13个参数媲美全量,RL完胜SFT
26 字节,13 个参数。这是让 7B 模型数学能力逼近全量微调的全部数据。下面这张看似普通的二维码,实则包含了一个名为 TinyLoRA 的微调适配器的全部参数。〓 图1. TinyLoRA 权重二
2026-02-06
ICLR 2026 | GPT-5竟给废图打高分?首个图表“信达雅”评测基准发布
ICLR 2026 | GPT-5竟给废图打高分?首个图表“信达雅”评测基准发布
\uD83E\uDE84 你的 Dashboard 好看又精准吗? 也许,是时候让 AI 来严肃地打一次分了。引言:当 AI 开始 “看图思考”在这个“数据驱动决策”的时代,图表早已不是“锦上添花”的装饰——它是传递复杂信
2026-02-04
Wiley高层访问中国市场:加速AI布局,助力人工智能驱动型研究的发展
Wiley高层访问中国市场:加速AI布局,助力人工智能驱动型研究的发展
近期,威立执行副总裁兼总经理Jay Flynn,威立高级副总裁兼学术出版全球负责人Liz Ferguson及威立高级副总裁兼首席营销官Anna Reeves到访中国市场,在威立北京办公室与威立全球副总
2026-02-04
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1