还在盲目堆数据？用SAE特征空间指导合成，2K样本轻松追平300K SOTA

背景：在大模型后训练阶段，训练数据的多样性对下游任务表现至关重要，但现有方法依赖文本层面的浅层指标，难以触及核心特征。研究目的：提出一种基于稀疏自编码器特征空间的数据合成框架FAC Synthesis，旨在通过精准覆盖模型内部特征来高效提升数据多样性。结论：该方法在指令遵循等任务中，仅用2K样本即达到与300K样本SOTA方法相当的胜率，证明了特征空间指导合成的有效性，并揭示了跨模型特征迁移和“弱到强”泛化的潜力。