一个多模态模型，理解也要，生成也要

本文探讨了统一多模态模型中理解与生成任务的核心挑战。背景在于，文本模态天然统一了理解与生成，而图像模态因维度、离散化和语义层次差异导致两者难以统一。研究目的是通过分析LongCat-Next模型，探索如何为图像等模态构建类似文本的“理解-生成统一表示”。该模型坚定采用离散自回归方案，提出基于语义对齐编码器（SAE）和残差向量量化（RVQ）的dNaViT视觉分词器，并与音频处理结合形成DiNA范式，实现了跨模态的统一自回归建模。结论表明，离散表征通过规模化训练可逼近连续表征性能，理解与生成任务冲突较小，且离散方案天然兼容强化学习，为构建真正的原生多模态模型提供了可行路径。