量子位
·
让RAG真正读懂“言外之意”！新框架引入词汇多样性，刷新多项基准SOTA
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
新提出的Lexical Diversity-aware RAG (DRAG)框架通过引入词汇多样性，提升了RAG的准确率10.6%。该方法在检索与生成过程中有效解决了词汇多样性问题，显著改善了多个基准任务的表现，尤其在HotpotQA上取得了最佳结果。研究团队计划将此方法扩展到更多专业场景，以增强大模型对复杂语言的理解能力。
🎯
关键要点
- 新提出的Lexical Diversity-aware RAG (DRAG)框架通过引入词汇多样性，提升了RAG的准确率10.6%。
- 该方法在检索与生成过程中有效解决了词汇多样性问题，显著改善了多个基准任务的表现。
- 研究团队来自北航、北大和中关村实验室，首次将词汇多样性引入RAG的相关性评估过程。
- 词汇多样性导致模型错误地将相似但无关的文档判为相关，或忽略真正有用的信息。
- DRAG框架包含两个互补模块：Diversity-sensitive Relevance Analyzer (DRA)和Risk-guided Sparse Calibration (RSC)。
- DRA模块通过差异化策略对查询语义进行拆解，输出更细粒度的相关性评分。
- RSC模块实时监控生成token的风险，动态干预高风险token，保证生成质量与效率的平衡。
- 该方法在多个开放域问答基准上验证，准确率显著提升，尤其在HotpotQA上刷新了当前最优结果。
- 该方法在不同类型、大小的模型上均表现出显著增益，展现出强泛化性。
❓
延伸问答
DRAG框架的主要创新点是什么？
DRAG框架通过引入词汇多样性，提升了RAG的准确率10.6%，并包含Diversity-sensitive Relevance Analyzer和Risk-guided Sparse Calibration两个互补模块。
词汇多样性对RAG模型的影响是什么？
词汇多样性导致模型错误地将相似但无关的文档判为相关，或忽略真正有用的信息，从而影响检索和生成的准确性。
Diversity-sensitive Relevance Analyzer模块的功能是什么？
DRA模块通过差异化策略对查询语义进行拆解，输出更细粒度的相关性评分，避免假阳性和假阴性问题。
Risk-guided Sparse Calibration模块如何提高生成质量？
RSC模块实时监控生成token的风险，动态干预高风险token，确保生成质量与效率的平衡。
DRAG框架在问答任务中的表现如何？
DRAG框架在多个开放域问答基准上验证，尤其在HotpotQA上准确率提升10.6%，展现出强泛化性。
未来研究团队对DRAG框架的计划是什么？
研究团队计划将DRAG框架扩展到更多专业场景，以增强大模型对复杂语言的理解能力。
➡️
