o1之后下一个范式？隐式CoT大突破，让推理不再「碎碎念」

背景：复杂推理任务长期依赖显式思维链，但其存在推理开销大和可能模板化的问题，隐式推理范式旨在用少量隐式token在内部完成推理以提升效率，但面临隐式token数量增加时训练不稳定、语义坍缩和信息丢失的挑战。研究目的：为了解决隐式推理的稳定性与可解释性问题，研究者提出了SIM-CoT方法，其核心是通过引入一个辅助解码器，在训练阶段对每个隐式token进行步骤级别的监督，将其对齐到具体的推理步骤，从而稳定训练并丰富隐式表示，同时推理阶段移除该模块以保持零额外开销。结论：实验表明，SIM-CoT在GPT-2和LLaMA等多种模型规模上均能稳定提升性能，在多个数学推理数据集上准确率超过现有隐式和显式方法，并保持了隐式推理的高效率优势，实现了更准确、更稳定且更节省token的推理。