研究人员提出多种置信度估计技术来解决大型语言模型的事实准确性问题。实验显示，隐藏状态探针提供了最可靠的置信度估计，但需要权重和训练数据。模型在语义等效输入下的置信度不稳定，表明模型参数化知识的稳定性有待提高。

研究发现，融合外部知识到大型语言模型（LLMs）中可以增强知识整合能力，但过度依赖外部知识低估了LLMs内在参数化知识的贡献。研究结果指导未来对LLMs内外知识协调的探索。

研究了虚构角色角色扮演中幻觉的评估和减轻方法，提出了一种名为RoleFact的角色扮演方法，通过调节参数化知识的影响来减轻幻觉。实验证明该方法在对抗性问题的准确性提高了18％，对于时间敏感的访谈减少了44％的时间幻觉。

我们的研究引入了一种新的评估框架，用于量化和比较IA和NA揭示的知识。实验和分析表明，与IA相比，NA通常揭示了更多关于LM的参数化知识的多样性和全面性信息。然而，IA提供了有关LM的参数化知识的独特而有价值的见解，这不是由NA揭示的。研究结果表明，结合IA和NA的多样化发现可能对LM的参数化知识有更全面的理解。

这篇调查报告研究了大型语言模型在融合上下文和参数化知识时所面临的复杂挑战，包括上下文-记忆、不同上下文之间和内部记忆冲突。调查通过分类、探索原因、研究行为和回顾解决方案，为改善语言模型的鲁棒性提供了策略。