企业RAG系统为何失败：谷歌研究提出“充足上下文“解决方案

谷歌研究提出了'充足上下文'框架，旨在提升大语言模型中的检索增强生成系统的准确性。

该框架能够判断上下文是否足够回答问题，帮助企业构建更可靠的AI应用。

研究表明，即使上下文充足，模型仍可能产生错误答案，因此需要改进模型的选择性生成能力以提高准确率。

充足上下文分为两种情况：充足上下文和不充足上下文，后者可能因信息不完整或存在矛盾而无法回答问题。

研究人员开发了一种基于大语言模型的自动评分器，用于自动标记上下文的充足性。

实验发现，谷歌的Gemini 1.5 Pro模型在上下文充足性分类上表现最佳。

当上下文充足时，模型通常能获得更高准确率，但仍可能产生幻觉。

额外的上下文信息可能降低模型在信息不足时选择弃答的能力。

即使在上下文不足的情况下，模型有时仍能给出正确答案，这可能是由于上下文消除了查询歧义。

研究提出了新的选择性生成框架，以提高模型的准确率和覆盖率。

微调模型以鼓励弃答行为的尝试结果不一，仍需更多工作来平衡这些目标。

建议企业团队收集查询-上下文配对数据集，并使用自动评估器标记上下文的充足性。

团队应根据充足和不充足上下文的示例对模型响应进行分层分析，以理解性能差异。

在小型测试集上运行自动评估器的开销可控，实时应用可使用启发式方法或更小的模型。