RAG 检索模型如何学习：三种损失函数的机制解析

本文聚焦于RAG系统中检索嵌入模型的学习方式，探讨了三种不同的损失函数：成对余弦嵌入损失、三元组边距损失和InfoNCE损失。背景方面，随着Agent系统的发展，检索模型在RAG及其变体中的基础作用依然关键，训练精准的检索模型有助于减少迭代调用，节省时间和成本。研究目的旨在比较这些损失函数的机制，分析其适用场景。结论指出，没有绝对最优的方法，选择需依据具体场景、数据量和算力；实验显示InfoNCE损失覆盖面较广，而成对余弦嵌入损失在充分调整下也能达到类似效果，三元组边距损失则可能作为折中选项。