量子位
·
让RAG真正读懂“言外之意”！新框架引入词汇多样性，刷新多项基准SOTA
内容提要
新提出的Lexical Diversity-aware RAG (DRAG)框架通过引入词汇多样性，提升了RAG的准确率10.6%。该方法在检索与生成过程中有效解决了词汇多样性问题，显著改善了多个基准任务的表现，尤其在HotpotQA上取得了最佳结果。研究团队计划将此方法扩展到更多专业场景，以增强大模型对复杂语言的理解能力。
关键要点
-
新提出的Lexical Diversity-aware RAG (DRAG)框架通过引入词汇多样性，提升了RAG的准确率10.6%。
-
该方法在检索与生成过程中有效解决了词汇多样性问题，显著改善了多个基准任务的表现。
-
研究团队来自北航、北大和中关村实验室，首次将词汇多样性引入RAG的相关性评估过程。
-
词汇多样性导致模型错误地将相似但无关的文档判为相关，或忽略真正有用的信息。
-
DRAG框架包含两个互补模块：Diversity-sensitive Relevance Analyzer (DRA)和Risk-guided Sparse Calibration (RSC)。
-
DRA模块通过差异化策略对查询语义进行拆解，输出更细粒度的相关性评分。
-
RSC模块实时监控生成token的风险，动态干预高风险token，保证生成质量与效率的平衡。
-
该方法在多个开放域问答基准上验证，准确率显著提升，尤其在HotpotQA上刷新了当前最优结果。
-
该方法在不同类型、大小的模型上均表现出显著增益，展现出强泛化性。
延伸解读
词汇多样性的重要性
词汇多样性在信息检索中扮演着关键角色。传统RAG方法往往忽视这一点，导致模型在处理同一问题的不同表达时产生混淆。DRAG框架通过引入词汇多样性，能够更准确地理解用户查询，从而提高检索的相关性和准确性。
双模块设计的优势
DRAG框架的DRA和RSC两个模块相辅相成，前者通过细化查询语义提升相关性评分，后者则实时监控生成过程中的风险。这种设计不仅提高了生成内容的质量，还有效避免了模型在生成阶段的偏差，确保了信息的准确传递。
广泛的应用前景
研究团队计划将DRAG框架扩展到更多专业领域，表明其在信息检索和问答系统中的潜在应用价值。随着大语言模型的不断发展，能够理解复杂语言表达的能力将为各行业带来更高效的解决方案。
延伸问答
DRAG框架的主要创新点是什么？
DRAG框架通过引入词汇多样性，提升了RAG的准确率10.6%，并包含Diversity-sensitive Relevance Analyzer和Risk-guided Sparse Calibration两个互补模块。
词汇多样性对RAG模型的影响是什么？
词汇多样性导致模型错误地将相似但无关的文档判为相关，或忽略真正有用的信息，从而影响检索和生成的准确性。
Diversity-sensitive Relevance Analyzer模块的功能是什么？
DRA模块通过差异化策略对查询语义进行拆解，输出更细粒度的相关性评分，避免假阳性和假阴性问题。
Risk-guided Sparse Calibration模块如何提高生成质量？
RSC模块实时监控生成token的风险，动态干预高风险token，确保生成质量与效率的平衡。
DRAG框架在问答任务中的表现如何？
DRAG框架在多个开放域问答基准上验证，尤其在HotpotQA上准确率提升10.6%，展现出强泛化性。
未来研究团队对DRAG框架的计划是什么？
研究团队计划将DRAG框架扩展到更多专业场景，以增强大模型对复杂语言的理解能力。
