通过上下文学习增强检索增强语言模型的鲁棒性

BriefGPT - AI 论文速递 · 2024-08-08T00:00:00Z

综合检索增强的大型语言模型在事实性方面表现优越，但不一定优于无检索语言模型。研究发现，这种性能不一致不仅存在于不同的检索器之间，还与知识源和读者模型的差异有关。引入可训练的综合检索器框架（EoR）可以解决这个问题，自适应地检索不同的知识源，并显著改善性能。实验证明，EoR减少了不一致的行为。