ACL 2026 | 通义提出多模态Latent Action RL，破解多模态对话微调难题

背景：视觉-语言模型被广泛用作多模态对话智能体，强化学习微调虽提升性能，但面临文本词元空间过大导致探索效率低下的挑战。研究目的：本文旨在通过构建一个紧凑的潜在动作空间来压缩动作搜索空间，并利用配对图像-文本数据与海量纯文本数据增强该空间的覆盖度，从而提升多模态对话智能体RL微调的效果与泛化能力。结论：本文提出了基于跨模态投影器和循环一致性损失学习潜在动作空间的方法，成功将动作空间从词表规模（如15.2万）压缩至码本规模（如128）。在多模态角色扮演和个性化对话任务上，结合GRPO、DAPO等多种RL算法的实验表明，所提方法显著优于基线模型，并有效提升了rollout多样性。消融实验验证了循环一致性损失、跨模态投影器及纯文本数据对于构建高质量潜在动作空间的关键作用。