检索解释：基于证据的语言模型预测
内容提要
该文综述可解释自然语言处理研究，涉及RExC、RR、REFER、R2R、ExPred等框架，通过检索增强、思维链提示、可微解释提取和多任务学习提升模型性能与解释忠实度。研究还发现大模型在科学推理中会编造证据，检索增强可改善问答表现，人类实验表明解释对BERT型分类器操纵帮助有限。
延伸解读
检索增强与证据捏造：能力与风险并存
文章指出，大语言模型在科学文档推理中会编造证据支持预测，即使使用科学语料预训练也无法减轻这一风险。而检索增强语言模型（RALMs）能提升开放域问答性能，且检索到的信息通常不会损害性能。这表明检索增强是缓解证据捏造的有效途径，但文章也提到并非所有声称被支持的证据都正确，因此读者需注意检索增强并非万能，仍需对模型输出保持审慎。
解释忠实度与人类操纵：线性与BERT模型的差异
众包实验显示，在给定特征系数时，人们能更有效地操纵线性词袋模型，但解释对BERT型分类器的操纵帮助有限。然而，通过伪造BERT模型的线性模型对全局归属的解释，却能有效操纵BERT型模型。这一发现提示，解释的实用性高度依赖模型类型，对于复杂模型，解释可能无法直接帮助人类操纵，但可能被用于构造攻击。
可解释NLP框架的演进：从后处理到多任务学习
文章综述了多个框架：RExC结合自然语言解释与提取合理，提升性能并显示解释与预测高度关联；RR利用思维链提示检索外部知识，改善大模型推理；REFER通过可微分提取器提升忠实度与准确率；R2R覆盖XAI生命周期，帮助识别和减轻伪相关性；ExPred用多任务学习平衡解释与预测损失。这些方法反映了可解释NLP从单一后处理向训练过程整合、从静态解释向迭代修正的发展趋势。
Q&A
RExC框架是如何提升模型性能并保证解释质量的？
RExC框架通过提供两种互补类型的解释（自然语言解释NLE和提取合理）并将其与背景知识结合，达到了任务最新水平的性能，并大幅度领先于现有模型。干扰分析表明，解释与预测之间存在高度的关联性。
什么是R2R框架？它如何帮助解决高风险决策中的伪相关问题？
R2R（Reveal to Revise）是一个通过整个可解释人工智能（XAI）生命周期，使从业人员能够迭代地识别、减轻并重新评估模型表现的框架。它旨在解决模型中学习的伪相关性对高风险决策（如皮肤癌检测）的风险。
大型语言模型在科学推理中会编造证据吗？检索增强能改善吗？
是的，研究发现大型语言模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。但检索增强语言模型（RALMs）在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。
解释机器学习模型的预测对人类操纵模型有帮助吗？
众包实验表明，在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对BERT型分类器并没有显著提高操纵能力。然而，通过伪造BERT模型的线性模型的对全局归属的解释，则可以有效地操作BERT型模型。
REFER框架如何提升解释的忠实度和下游任务准确率？
REFER框架利用可微分的rationale extractor，通过在训练过程中使用人工标注的重点提取训练任务模型和rationale extractor，从而在忠实度、可信度和下游任务准确率方面显著提升性能。
检索增强语言模型在开放领域问答中的表现如何？有哪些减轻性能下降的方法？
使用检索增强语言模型（RALMs）处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。
