SEER: 通过强化学习促进结构化推理和解释
内容提要
本文综述了强化学习提升可解释推理的研究，涵盖奖励工程与半结构化基准，提出RLET蕴含树生成、SEER示例选择、IRGR检索生成、A2CR可解释Actor-Critic等框架，并探索元强化学习发现因果推理及策略逻辑解释，在多个任务上验证了有效性。
延伸解读
强化学习奖励工程的关键作用
文章指出，有监督微调在可解释推理任务中存在局限，而强化学习通过精心设计的奖励工程能更好地解决该问题。研究者探索了多种奖励聚合方法，并在ExplaGraph和COPA-SSE两个半结构化解释生成基准上取得了新的最先进结果。这表明奖励设计是提升模型解释能力的重要途径，也为未来研究提供了方向。
示例选择与检索生成框架的进展
SEER将示例选择转化为背包整数线性规划问题，通过调整多样性和容量约束提升HybridQA性能，在FinQA和TAT-QA上优于先前方法。IRGR结合检索与生成步骤，生成包含中间结论的层级结构，在预测上超越基准。这些工作显示，结构化示例选择和检索增强生成能有效提升复杂问答的可解释性。
可解释性与因果推理的探索
A2CR模型通过预定义行为目的自动生成可解释决策模式，提供基于目的的关键性、早期故障检测等功能。元强化学习研究则证明递归神经网络能在新情境下进行因果推理和反事实预测。这些探索表明，强化学习不仅能提升性能，还能增强决策的透明度和因果理解能力。
Q&A
SEER 方法是如何提高 HybridQA 性能的？
SEER 将示例选择问题转化为背包整数线性规划问题，通过灵活调整多样性和容量约束条件，选择代表性和多样性的示例集合，从而在 HybridQA 中提高性能。
RLET 框架在解释性问答中有什么作用？
RLET 是一个基于强化学习的蕴含树生成框架，通过句子选择和推理生成模块进行单步推理，并积累整个树的训练信号，实现了解释性 QA 中的逻辑推理过程。
A2CR 模型如何提升强化学习的可解释性？
A2CR 是一种带有解释性的 Actor-Critic 强化学习模型，通过预定义和分类行为的目的，自动生成更全面、可解释的决策模式，提供基于目的的关键性、早期故障检测和模型监督等功能。
IRGR 架构在问答任务中有什么优势？
IRGR 结合了检索步骤和生成步骤，能够解释问题回答，生成包含先前中间结论的层级结构，并在预测方面超过先前的基准模型。
元强化学习如何用于因果推理？
通过训练递归神经网络对包含因果结构的问题进行无模型强化学习，代理可以在新情况下进行因果推理，从观测数据中得出因果推断结果并进行反事实预测。
如何用时间逻辑公式解释强化学习智能体的策略？
通过时间逻辑公式表征代理策略，并使用嵌入方法对代理足迹进行聚类，得出不同聚类中解释代理策略的逻辑公式，从而提供一致、有意义且易于理解的策略描述。
