Claude团队用Qwen测试全新训练方法

背景：当前大模型的主流安全对齐方法（如对齐微调AFT）主要依赖标准答案和合规示范，模型只学到行为模仿而不理解规则背后的原理，导致在陌生场景或复杂智能体环境中泛化能力不足，容易出现行为漂移、安全违规等问题。研究目的：Anthropic团队提出一种新的“中训练”方法MSM，在预训练之后、后训练之前进行，通过让模型学习大量的规范讲解文档，帮助模型理解自身需要遵守的价值原则和逻辑框架，再进入后续的对齐微调环节。结论：实验表明，仅凭一轮MSM训练，就能让通义千问两款32B大模型在智能体安全测试中的失准率从68%、54%降至5%、7%，同时可节省40至60倍的微调数据量。MSM与传统对齐微调形成互补，前者教原理、后者教操作，二者结合能显著提升模型的安全底线与泛化能力。