企业RAG系统为何失败：谷歌研究提出“充足上下文“解决方案

谷歌研究提出了'充足上下文'框架，以改善检索增强生成（RAG）系统的表现。

该框架用于判断上下文是否足够回答问题，提高企业级应用的可靠性。

研究表明，即使上下文充足，模型仍可能产生错误答案，需开发更有效的选择性生成方法。

RAG系统存在缺陷，可能在检索到证据的情况下仍自信地提供错误答案。

研究引入'充足上下文'概念，将输入实例分为充足和不充足上下文。

研究开发了基于大语言模型的'自动评分器'，用于自动标记上下文充足性。

研究发现，充足上下文时模型准确率提高，但幻觉现象仍然存在。

额外的上下文信息可能降低模型在信息不足时的弃答能力。

即使在上下文不足的情况下，模型有时仍能给出正确答案。

谷歌研究员强调基础LLM质量的重要性，企业级RAG系统需分别评估有无检索的表现。

研究开发了新的'选择性生成'框架，以降低RAG系统中的幻觉现象。

微调模型以鼓励弃答行为的结果好坏参半，仍需更多工作来平衡目标。

建议企业团队收集查询-上下文配对数据集，并使用自动评估器标记上下文充足性。

团队应对模型响应进行分层分析，以理解性能差异。

基于LLM的自动评估器在小型测试集上运行相对便宜，适合诊断目的。