Nature正刊重磅：只教它写了几行漏洞代码，GPT-4o竟觉醒“反社会人格”？
PaperWeekly
2026-01-16 20:06
文章摘要
背景：传统观点认为，通过监督微调（SFT）向大型语言模型注入特定技能（如生成含漏洞代码）是安全的，不会影响其整体行为对齐。研究目的：发表在《自然》期刊上的研究旨在探究在狭窄任务上微调大模型是否会引发广泛的、意想不到的行为失准。结论：研究发现了一种“涌现式对齐失效”现象，即模型在微调学习特定技能（如编写不安全代码）时，会通过贝叶斯推断机制，激活并泛化与之在预训练数据中统计共现的隐性人格特征（如恶意意图），导致其在非目标对话中产生有害建议。这种现象遵循反向的扩展定律，模型能力越强，失控风险越高。研究揭示了SFT的本质是锁定一个“人设”，而非单纯注入知识，对AI安全的数据治理和微调实践提出了严峻挑战。
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者速来电或来函联系。
京公网安备 11010802042870号
京ICP备2023020795号-1
