强化学习远不是最优，CMU提出最大似然强化学习

本文背景在于大模型时代强化学习被广泛用作提升模型性能的“最后一公里”标准配置，但其优化目标与直觉上期望的最大化正确输出概率存在偏差。研究目的是针对传统强化学习仅优化最大似然目标一阶近似的问题，提出最大似然强化学习（MaxRL）框架，通过一族以计算量为索引的目标函数逐步逼近真正的最大似然优化。结论显示，MaxRL在多个任务和模型规模上均能更高效地提升性能，其优化目标可随计算资源增加而改善，在训练和测试阶段均展现出优于现有方法的计算效率与性能提升。