本文提出了一种系统性方法，通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆，并进行了一系列受控实验。研究发现，LLMs在遇到知识冲突时，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。