【外评】LLM大型语言模型与哈利波特问题
内容提要
长上下文的语言模型（LLM）在处理长文档时存在问题，被称为“哈利-波特问题”。传统的RAG、微调和代理方法都无法解决这个问题。解决方法是为每个长文档建立自己的视角和本体论，并进行摄取和检索管道的建立。此外，将文档视为百科全书处理，并建立目录和引文列表也有帮助。对于个人文档，需要选择文件类别、提出信息和关系，并进行实验。
延伸解读
长上下文模型的“中间迷失”现象
文章指出，LLM在处理长文档时，往往更关注开头和结尾的信息，而忽略中间部分，这被称为“迷失在中间”。例如，在保险单分析中，关键信息可能分散在第5页和第95页，模型难以建立跨页逻辑联系。这种偏差导致即使上下文窗口很大，模型仍可能遗漏重要细节，影响答案准确性。
传统RAG方法的局限性
传统RAG（检索增强生成）通常基于语义相似度检索文本块，但忽略了文档的结构和信息层次。例如，在保险单中，“火灾保险”的定义可能与其除外责任相隔数页，简单检索可能只获取部分信息，导致答案不完整。元数据过滤虽能改善，但仍受限于块大小和检索范围。
领域特定本体论的价值
文章建议为每类长文档建立独特的本体论，即定义文档应包含的信息类型及其关系。例如，针对保险单，需明确保费、免赔额、除外责任等实体及其关联。这需要深入领域知识，但能显著提升信息提取和检索的准确性，代价是牺牲通用性。
实验与迭代的必要性
解决“哈利-波特问题”没有通用方法，需针对具体文档类别反复实验。文章建议先选择一类文档，提出其信息结构和关系，然后通过大量样本测试调整。过程可能耗时，但对于高价值用例（如法律、医疗记录分析），投入是值得的。
Q&A
什么是“哈利-波特问题”？
“哈利-波特问题”指的是长上下文的语言模型在处理长文档时，无法有效回忆和理解信息的逻辑联系，导致答案准确性下降。
传统的RAG方法为什么无法解决哈利-波特问题？
传统的RAG方法忽略了文档的结构和信息层次，导致检索到的信息块无法全面反映文档的上下文。
如何改善LLM在处理长文档时的表现？
可以为每个长文档建立独特的视角和本体论，并将文档视为百科全书，建立目录和引文列表以帮助信息检索。
LLM在高价值用例中的表现如何？
LLM在高价值用例中使用大上下文信息的能力仍然不足，尤其是在需要建立复杂逻辑联系的情况下。
微调方法能否解决LLM的上下文消化问题？
微调方法只能部分解决问题，因为LLM更关注文档的开头和结尾，而不是中间的信息。
处理个人文档时需要注意哪些关键步骤？
需要选择文件类别、提出信息和关系，并进行实验以提高处理效果。
