通过谓词重新定义实现向后解释
内容提要
本文探讨了通过自我发明谓词和赋分策略来改善逻辑代理的可解释性和奖励学习效率。提出的基于能量的框架和反事实推理方法在机器人操作任务中表现优异，显著提升了样本效率和决策解释能力。
延伸解读
自我发明谓词：降低背景知识依赖
文章提出通过自我发明谓词来减少对预先定义背景知识的依赖，从而提升逻辑代理的可解释性。这一思路意味着代理不再完全依赖人工设定的谓词，而是能够自主构建谓词，使行为解释更灵活。对于需要高可解释性的应用场景，这种方法有助于降低知识工程成本，并让代理的决策逻辑更贴近实际环境。
赋分策略与状态重要性：提升奖励学习效率
引入赋分策略（Hindsight PRIOR）将状态重要性纳入奖励学习，在元世界和DMC的运动与操纵任务上分别平均恢复了20%和15%的奖励。这表明状态重要性是决策偏好的强有力指标，能改善策略学习速度和整体性能。对于奖励稀疏的任务，这种赋分策略提供了一种利用状态重要性加速学习的新途径。
基于能量的经验回放：优先学习高价值轨迹
文章提出一种基于能量的框架，根据目标状态的轨迹能量来优先考虑经验回放。在四个机器人操作任务上，该方法在表现和样本效率上均优于现有方法。这意味着通过能量度量筛选经验，可以让代理更关注接近目标状态的高价值轨迹，从而在复杂操作任务中更快地学习有效策略。
反事实推理与可解释决策：适应历史依赖环境
文章通过建模专家行为，提出一种可解释的决策制定方法，利用“假设”结果的偏好来模拟专家奖励函数，并将反事实推理集成到批量反向强化学习中。该方法能自然适应历史记录依赖的环境，同时满足现实世界决策制定的约束条件。这为需要解释代理为何选择某一行动而非另一行动的场景提供了可行方案。
Q&A
如何通过自我发明谓词提升逻辑代理的可解释性？
自我发明谓词减少了对预先定义背景知识的依赖，从而实现了逻辑代理的可解释行为。
赋分策略（Hindsight PRIOR）如何改善策略学习速度？
赋分策略通过将状态重要性纳入奖励学习，显著提高了策略学习速度和整体性能。
基于能量的框架在机器人操作任务中有什么优势？
基于能量的框架优先考虑目标状态的轨迹能量，提升了样本效率和任务表现。
如何通过反事实推理改善决策制定？
通过建模专家行为并集成反事实推理，可以自然适应历史记录依赖的环境，优化决策制定。
Experiential Explanations如何帮助解释强化学习代理的决策？
Experiential Explanations生成局部反事实解释，恢复关于策略如何反映环境的情境信息，提升解释实用性。
HIGhER方法的主要创新是什么？
HIGhER方法允许智能体在无法完成指令时生成新指令，消除了对外部专家干预的需求。
