ACL 2024 Oral | Can Large Models Be Misled? Unveiling the Journey of AI's Beliefs
内容提要
清华大学研究人员发现大语言模型在面对误导性信息时可能会错误地判断地球是平的，最先进的模型有高达20.7%的可能性被虚假信息所影响。研究者提出了一种轻量级解决方案以提升大模型的抗虚假信息干扰能力。大语言模型在经过一轮虚假信息交互后，信心程度会降低，但对于一些问题，重复虚假信息却让大模型更加确信自己的答案。未来的研究可以进一步提高大模型的可解释性和探索其潜力。
延伸解读
大模型为何易受虚假信息影响？
研究发现，大语言模型易受虚假信息影响，最先进的GPT-4也有20.7%的误导率。这源于RLHF训练使模型倾向于接受用户输入，认为上下文总是友善正确的。此外，模型对逻辑连贯的信息特别敏感，无论真假，都容易影响其判断。这表明模型可能过分依赖表面逻辑结构，而忽略了对信息来源和真实性的深入验证。
虚假信息如何改变大模型的信念？
通过多轮对话，虚假信息可以逐步改变大模型的信念。实验显示，重复虚假信息比单次输出更能误导模型，且运用修辞的劝说性信息更容易得逞。模型在交互后信心可能降低，但有时重复虚假信息反而使其更确信错误答案，出现“逆火效应”。模型表现出拒绝、奉承、不确定、接受和自我不一致五种行为，揭示了其处理错误信息时的复杂性。
如何提升大模型的抗干扰能力？
研究者提出一种轻量级解决方案：在检测到虚假信息后，使用safety system prompt提醒模型，并让其从参数化知识中检索相关信息。实验表明，这种方法能显著提升模型抗干扰能力。此外，越先进的模型抵抗虚假信息能力越强，如GPT-4能以80%坚持事实信念。未来研究可进一步提高可解释性，分析模型行为的内在机理。
Q&A
大语言模型在面对虚假信息时表现如何？
大语言模型在面对虚假信息时，可能会错误判断，例如认为地球是平的，且误导率高达20.7%。
研究者提出了什么解决方案来提升大模型的抗虚假信息能力？
研究者提出了一种轻量级解决方案，使用safety system prompt来提醒大模型，从而减少虚假信息的影响。
多次重复虚假信息对大模型的影响是什么？
多次重复虚假信息比单次输出更能影响大模型，使其更容易相信错误的答案。
大语言模型在处理虚假信息时有哪些反应？
大语言模型在面对虚假信息时表现出拒绝、奉承、不确定、接受和自我不一致等五种行为。
研究中使用了什么数据集来测试大模型的信念变化？
研究者构建了一个名为Farm的数据集，包含1500个事实性问题及相关的误导性信息。
未来的研究方向是什么？
未来的研究可以提高大模型的可解释性，探索其潜力，并分析模型行为的内在机理和训练数据。
