生成语境的视野失明：语言模型如何合并生成和检索到的语境进行开放领域问答？
内容提要
该文综述大语言模型在问答中的知识利用研究。COMBO框架融合两类信息源以提升开放域问答；检索增强可媲美长上下文微调且计算更省，最佳模型优于GPT-3.5-turbo-16k；GenRead通过生成上下文文档提升准确率；两阶段闭书问答框架优于先前方法；GPT-4等存在错觉与逻辑错误，上下文相关性与答案质量呈非线性关系，校准后可自动评分；知识图谱联合推理增益有限；RALMs利用检索信息提升性能；GPT-4V预过滤可缓解离题上下文偏导；迭代检索-生成框架显著提升单跳与多跳推理。
延伸解读
检索增强与长上下文的取舍
文章指出，简单的检索增强在生成时能达到与经过位置插值微调的16K上下文模型相当的性能，且计算量更小。最佳模型检索增强的32K上下文LLaMA2-70B在7个长上下文任务上平均得分优于GPT-3.5-turbo-16k和Davinci003，生成速度也更快。这提示从业者在扩展上下文窗口之外，可优先考虑检索增强方案以平衡效果与成本。
生成上下文与知识图谱的增益差异
GenRead通过让模型生成上下文文档来提升开放域QA准确率，优于传统检索-阅读模型。而知识图谱联合推理的增益有限：将相关事实纳入问题上下文能提升性能，但把知识图谱融入语言模型只带来少量增长。这表明上下文知识事实的结合可能比图谱结构融合更具影响力，为知识密集型任务的设计提供了参考。
错觉与自动评分的可能性
文章强调GPT-4等模型在复杂问题上易出现错觉、逻辑错误和错误结论，且能以连贯方式呈现错误答案，增加事实核查难度。研究还揭示上下文相关性与答案质量呈非线性关系，并证明正确校准后可能实现自动评分，说明LLMs至少在一定程度上可用于自我检验性能质量，但需谨慎对待其可靠性。
多模态与迭代框架的改进方向
针对多模态场景，GPT-4V预过滤可缓解离题图像和文本上下文对结果的偏导，并探索替换相关上下文以生成连贯回答。迭代检索-生成协作框架则利用参数化和非参数化知识寻找正确推理路径，在单跳和多跳问答任务上显著优于基线。这些方法展示了通过上下文筛选与迭代协作提升模型推理能力的潜力。
Q&A
COMBO框架是如何提升开放域问答性能的？
COMBO框架基于知识兼容性匹配，能够有效利用两种信息源（生成和检索到的语境），改善开放域问答性能。在四项测试问答基准中，有三项表现优于竞争对手，尤其在存在较高程度知识冲突的场景中效果更显著。
检索增强和长上下文微调在长上下文任务上哪个更高效？
简单的检索增强在生成时可以实现与微调后的16K上下文窗口模型（通过位置插值）在长上下文任务上具有可比性能，而计算量更小。检索增强还能显著提升性能，不受扩展上下文窗口大小的限制。最佳模型（检索增强的32K上下文窗口LLaMA2-70B）在7个长上下文任务上平均得分优于GPT-3.5-turbo-16k和Davinci003，且生成速度更快。
GenRead方法如何解决开放域问答任务？
GenRead使用大型语言模型生成上下文文档来解决开放领域QA等知识密集型任务，并借助基于聚类的提示方法选择不同的提示以提高回收率。实验证明，相比于传统的检索-阅读模型，这种方法有更高的准确性。
大型语言模型在回答复杂问题时存在哪些主要挑战？
大型语言模型（如GPT-4）在回答复杂问题时容易出现错觉、逻辑错误和错误结论，且能以连贯且语义严谨的方式呈现错误答案，增加了发现事实不准确性的困难，在需要专业知识的领域尤为明显。研究还揭示了上下文相关性与答案质量之间的非线性关系，并证明在正确校准的情况下可能实现自动评分，表明LLMs可以在某种程度上自我检验性能质量。
知识图谱与语言模型结合对问答性能的提升有多大？
与先前发表的QAGNN方法比较发现，将相关的知识事实纳入问题上下文有助于提高问答性能，而将知识图谱融入语言模型中则只能带来少量增长。这表明结合上下文知识事实可能对增强问答性能更具影响力。
如何缓解多模态模型中离题上下文对回答的偏导问题？
通过提出使用GPT-4V的预过滤方法，在大规模多模态模型中解决离题的图像和文本上下文对结果的偏导问题，并进一步研究通过GPT-4V和文本到图像模型替换相关上下文是否能帮助生成连贯的回答。
