LLM 的阅读理解受参数性知识影响，对假设陈述难以理解
内容提要
本文探讨了大型语言模型（LLMs）在阅读理解和知识获取中的应用与挑战。研究发现，LLMs在回答复杂问题时可能出现错误，其表现受知识图谱和上下文质量的影响。通过自动评分和微调方法，旨在提高LLMs的准确性和可靠性，尤其是在对话理解方面。实验结果显示，LLMs在处理事实性问题时存在不一致性，并提出了改进策略以增强理解能力。
延伸解读
LLM 事实性错误的隐蔽性
文章指出，LLM 在回答复杂问题时容易出现错觉、逻辑错误和错误结论，且能以连贯且语义严谨的方式呈现错误答案，这增加了发现事实不准确的难度。在需要专业知识的领域，这一问题尤为明显。因此，读者在依赖 LLM 输出时，需警惕其表面合理性背后的潜在错误，尤其是在专业场景中。
检索增强的双刃剑效应
检索增强能提升 LLM 对知识边界的感知，但文章发现 LLM 在生成答案时倾向于依赖检索结果，且结果质量显著影响其依赖程度。这意味着，如果检索到的上下文质量不高，LLM 可能被误导，产生错误答案。因此，优化检索质量是发挥检索增强优势的关键。
对话理解中的事实不一致
在对话摘要任务中，大多数 LLM 生成的摘要存在 27% 的事实不一致，即使最强模型 ChatGPT 也有 16% 的错误摘要。对于事实性问题回答，所有评估的 LLM 平均准确率仅为 62.8%。这表明 LLM 在对话理解方面仍有较大提升空间，尤其是在主题/客体理解上。
微调提升对话理解能力
文章提出通过自动构建多任务数据进行微调的范式，实验结果显示该方法在 DIAC-FactQA 上获得了 8.9% 的准确率提升。这表明，针对特定任务进行微调可以有效增强 LLM 的对话理解能力，为改进 LLM 在实际应用中的表现提供了可行路径。
Q&A
大型语言模型在阅读理解中存在哪些挑战？
大型语言模型在回答复杂问题时容易出现错觉、逻辑错误和错误结论，尤其在需要专业知识的领域表现不佳。
如何提高大型语言模型的准确性和可靠性？
通过自动评分和微调方法，结合多任务数据，可以显著提升大型语言模型在对话理解方面的准确性。
知识图谱对大型语言模型的影响是什么？
知识图谱的质量和上下文的相关性显著影响大型语言模型的表现，检索增强被认为是提升其知识边界感知的有效方法。
大型语言模型在对话理解方面的表现如何？
在对话理解中，大型语言模型生成的摘要中有27%的事实不一致，平均准确率仅为62.8%。
如何评估大型语言模型的事实知识？
可以通过从知识图谱中自动生成问题和预期答案，评估大型语言模型回答这些问题的准确性。
大型语言模型在处理复杂问题时的表现如何？
大型语言模型在处理复杂问题时表现出不一致性，容易依赖检索结果，且结果质量影响其回答的准确性。
