多语言和单语细调语言模型的解释忠实度比较
内容提要
本文探讨了自然语言推理中的归因方法，评估其合理性和忠实度。提出了多语言 NLI 数据集，回顾了模型解释方法，强调忠实度的重要性，并总结了现有方法的优缺点及未来研究方向。此外，介绍了提高语言模型解释质量的框架 xLLM，以及评估自然语言解释忠实度的挑战和方法。
延伸解读
多语言归因评估的独特价值
文章提出多语言方法评估自然语言推理归因，并用单词对齐量化忠实度。这有助于检验归因方法跨语言泛化性，避免单语评估偏差。基于高亮增强的XNLI数据集为未来多语言可解释性研究提供了资源，但需注意其覆盖语言和任务范围有限。
忠实度与合理性并非一致
文章指出效果最好的归因方法在合理性和忠实度上表现不同。这意味着一个解释可能看似合理却未必忠实于模型决策，反之亦然。读者在评估解释时需区分这两个维度，不能仅凭合理性判断忠实度。
提升解释忠实度的技术路径
xLLM框架通过评估器和迭代优化最大化生成解释的忠实度分数，实验证明可显著提高。此外，自洽性检查被用作忠实度测量，并发现忠实度是任务和模型相关的。这些方法为改进解释质量提供了具体方向，但需注意其适用条件。
评估忠实度的挑战与工具
文章提出两个测试评估自然语言解释忠实度：反事实输入编辑器和从解释重建输入。这些测试可评估新兴NLE模型，是开发忠实解释的基本工具。同时，高风险决策中忠诚度与可信度存在矛盾，需谨慎权衡。
Q&A
多语言方法在自然语言推理中的作用是什么？
多语言方法用于评估自然语言推理的归因方法在合理性和忠实度方面的表现。
xLLM框架如何提高语言模型的解释质量？
xLLM框架通过评估器和迭代优化过程来最大化生成解释的忠实度分数，从而显著提高解释质量。
评估自然语言解释忠实度面临哪些挑战？
评估自然语言解释忠实度的挑战包括反事实输入编辑和从生成的解释中重建输入以检查预测一致性。
有哪些方法可以测量模型解释的可信度？
提出了三种可信度测量方法，并在不同模型架构的比较中进行了评估。
FRESH模型解释方法的优势是什么？
FRESH方法通过使用特征重要性分数导出二进制标签，具有超越端到端方法的预测性能优势。
大型语言模型在高风险决策中的自解释性如何？
大型语言模型的自解释性在高风险决策中存在忠诚度与可信度之间的矛盾。
