清华姚班校友马腾宇，发布了他的首个多模态嵌入模型：「多模态检索」实现SOTA

清华姚班校友马腾宇及其团队发布了首个多模态嵌入模型voyage-multimodal-3，该模型在多模态检索任务中实现了SOTA（State-of-the-Art）表现，比第二名平均高出19.63%的检索准确率。该模型能够处理交错文本和图像，从PDF、幻灯片、表格等截图中捕捉关键视觉特征，无需复杂的文档解析。voyage-multimodal-3的架构类似于视觉语言transformers，支持文本和内容丰富的图像，如文本截图、数字、表格、PDF、幻灯片等，产生的矢量捕捉关键的文本和视觉特征。该模型在多个数据集上的评估中表现优异，尤其是在表格/图表检索、文档截图检索和文本到图片检索方面，显著优于现有的多模态嵌入模型。