解释学习得到的奖励函数与反事实轨迹
内容提要
该文综述强化学习中的反事实解释研究，涵盖TraCE评分框架、基于偏好的奖励建模、经验解释、奖励解释信息模态、人类轨迹预测因果分析、机器人奖励学习及生成式反事实状态解释等方法，应用于医疗、气候、自动驾驶等领域，旨在提升代理决策的可解释性与验证效果。
延伸解读
反事实解释在强化学习中的核心作用
文章指出，反事实解释通过展示代理在更广泛轨迹分布中的行为，帮助传达代理在分布转移下的表现，从而支持代理的有效验证。用户研究表明，这种方法能提高用户在代理验证任务中的得分。这表明反事实解释不仅增强可解释性，还能实际提升人类对代理行为的判断准确性。
跨领域应用与框架设计
文章介绍了TraCE评分框架，用于评估顺序决策任务中的进展，并应用于医疗保健和气候变化案例，展示了其在不同领域的实用性。此外，基于偏好的奖励建模方法将反事实推理集成到批量反向强化学习中，适应历史记录依赖的环境，满足现实世界决策制定的约束条件。这些工作表明反事实解释具有广泛的适用性。
技术实现与人类评估效果
文章提到Experiential Explanations通过生成局部反事实解释，利用影响预测模型恢复策略如何反映环境的情境信息，在人类评估中实现了更高的正确预测率和解释实用性。同时，基于生成式深度学习的反事实状态解释在Atari环境中帮助非专家识别有缺陷的代理，其真实性优于最近邻基线或无解释。这些结果凸显了反事实解释在提升人类理解方面的潜力。
Q&A
TraCE评分框架是什么？它有什么应用？
TraCE（轨迹反事实解释）评分是一个模型无关的模块化框架，用于评估顺序决策任务中的进展。它已应用于医疗保健和气候变化两个案例研究，展示了其在不同领域的实用性。
如何利用偏好来学习可解释的奖励函数？
通过建模专家行为，使用“假设”结果的偏好来模拟专家的奖励函数，将反事实推理集成到批量反向强化学习中，能够适应历史记录依赖的环境，并满足现实世界决策制定的约束条件。
什么是经验解释（Experiential Explanations）？它如何帮助解释强化学习代理的决策？
经验解释通过生成局部反事实解释来帮助解释强化学习代理的决策，利用影响预测模型恢复关于策略如何反映环境的情境信息，并在人类评估研究中实现了更高的正确预测率和更高的解释实用性。
奖励解释技术的信息模态是什么？研究了哪些领域复杂性轴线？
奖励解释技术的信息模态介绍了奖励解释技术，研究了多个不同领域中奖励解释技术的相对效能，并提出了四个领域复杂性轴线。
在人类轨迹预测中，如何应用反事实干预来减轻环境偏差？
通过构建因果图分析历史轨迹与未来轨迹以及环境交互之间的关系，并对轨迹进行反事实干预以减轻环境偏差带来的负面影响，从而在公共行人轨迹预测基准测试中取得了最佳结果。
如何通过比较反馈学习机器人的奖励函数？有哪些主动学习技术？
通过对多种机器人轨迹的比较反馈方式学习机器的奖励函数，包括两两比较、评分、最佳选择等，并提出主动学习技术以优化从用户反馈中获得的期望信息，在自主驾驶模拟、家庭机器人、标准强化学习等领域展示了适用性。
生成式反事实状态解释如何帮助识别有缺陷的强化学习代理？
通过生成针对深度强化学习代理在视觉环境中操作（如Atari）的反事实状态解释，并对非专家参与者进行测试比较，结果表明反事实状态解释对于帮助非专家参与者识别出有缺陷的强化学习代理具有足够的真实性。
