当上下文领导而参数记忆跟随在大型语言模型中

本研究探讨了大型语言模型在回答开放式问题时，如何在局部上下文和全局参数之间分配知识。通过引入新数据集WikiAtomic，分析模型在不同上下文大小下的知识利用方式，揭示了在上下文增加时，模型对上下文知识的依赖显著高于参数知识，同时有效减少了幻觉现象。这些发现强调了优化上下文组织的重要性，并为更有效的模型开发提供了新视角。