大型语言模型作为忠实的解释器
内容提要
该文综述大语言模型自解释研究，采用自洽性检查衡量解释忠实度，发现忠实度因任务和模型而异：情感分类中Llama2提供反事实解释，Mistral进行重要性度量，Falcon 40B的删除解释更忠实，且对提示变体稳健。此外还涉及解释评估、事实核查的依赖风险及神经符号增强伦理推理。
延伸解读
忠实度评估：自洽性检查的应用
文章采用自洽性检查作为衡量大型语言模型自我解释忠实度的指标，并应用于反事实解释、重要性度量和删除三种解释类型。这种方法通过检验解释是否与模型预测一致来评估忠实度，为解释质量提供了可操作的评估手段。
忠实度的任务与模型依赖性
研究发现解释忠实度因任务和模型而异。在情感分类任务中，Llama2的反事实解释、Mistral的重要性度量和Falcon 40B的删除解释表现出更高的忠实度。这表明没有一种模型或解释类型在所有场景下都最优，选择需结合具体任务。
提示变体下的稳健性
文章指出，上述关于忠实度的发现在提示变体方面是稳健的，意味着模型解释的忠实度不会因提示的微小变化而显著波动。这增强了研究结论的可靠性，也为实际应用中的提示设计提供了参考。
高风险决策中的依赖风险
文章提及，大型语言模型在事实核查中虽能提高效率，但解释错误时容易导致用户过度依赖，因此在高风险环境中不宜作为阅读检索内容的可靠替代品。这提醒我们，在关键决策中需谨慎对待模型解释，避免盲目信任。
Q&A
大型语言模型自我解释的忠实度如何测量？
使用自洽性检查作为忠实度测量方法，应用于大型语言模型自我解释的三种类型：反事实解释、重要性度量和删除。
不同大型语言模型在自我解释忠实度上有何差异？
忠实度因任务和模型而异。例如在情感分类任务中，Llama2的反事实解释、Mistral的重要性度量和Falcon 40B的删除解释更加忠实。
大型语言模型在事实核查中的解释可靠性如何？
大型语言模型能提高事实核查效率，但在解释错误时容易让用户过分依赖，因此在高风险环境中不宜作为阅读检索内容的可靠替代品。
如何评估大型语言模型的自然语言解释？
提出了一种新的自然语言解释评估方法——反事实模拟性。实验显示当前LLMs的解释精度较低，且精度与可信度相关性不高，单纯依赖人类评判可能不足。
神经符号技术如何增强大型语言模型的伦理推理？
通过整合外部的向后求解器，改进逐步自然语言解释的过程，验证解释的正确性，减少不完整性和冗余性，并生成支持模型推理的形式证明，从而提高多步伦理自然语言推理任务中解释的质量。
大型语言模型在可解释人工智能领域有哪些新应用？
利用大型语言模型和上下文学习，提出新的解释框架，展示语言模型在解释其他预测模型方面的有效性，性能与现有解释技术相媲美，开辟了可解释人工智能的新研究前沿。
