训练加速40倍、打破“不可能三角”：MiniMax Agent RL 架构解密

本文介绍了MiniMax公司为解决大规模Agent强化学习中的系统吞吐量、训练稳定性与Agent灵活性之间的平衡问题，设计的异步原生Agent RL系统——Forge。背景方面，文章指出在复杂真实世界场景中运行RL时面临的核心难题。研究目的上，Forge通过标准化Agent-LLM交互协议、极致工程优化和稳定算法设计，支持对任意Agent脚手架进行训练，实现超大规模强化学习。结论显示，该系统在面对数十万真实Agent脚手架和200k上下文长度时，实现了每天百万级样本吞吐、持续稳定的Reward上涨和模型能力提升，最终造就了MiniMax M2.5模型的性能突破，并实现了约40倍的训练加速。