本研究探讨多智能体马尔可夫决策中解释反事实结果的挑战。通过新的因果解释公式，将代理行动对结果的反事实效应分解为各代理和状态变量的贡献，帮助理解多智能体互动的潜在影响。

该文综述多种黑盒模型可解释性方法：ConceptDistil通过知识蒸馏提供概念解释；结合神经网络内在特征与归纳逻辑构建符号模型；概念敏感训练减少偏差；决策树用于全局解释；因果先验图消除混淆；基于熵的可微方法提取逻辑解释；DISSECT自动发现概念并检测偏见；结构因果模型作对比解释；概率反事实提供补救措施；自解释模型实现无监督概念学习。

该文介绍了一个新颖的框架，用于在随机序列多智能体环境中为智能体的决策提供因果解释。该框架通过自然语言交流回答用户的查询，涉及联想、干预或反事实的因果推理。该方法利用生成模型模拟反事实世界，识别决策背后的重要原因。该方法在自动驾驶的运动规划中应用，并在耦合交互的模拟场景中进行了测试。结果表明，该方法能够正确识别和排名相关的原因，并向用户提供简明的解释。

本研究通过对127名志愿者进行对照实验，比较了因果和反事实解释对用户预测AI系统决策的效果、解释的满意程度和信任度。结果显示，反事实解释相对于没有说明的控制描述准确性没有提高，但在满足用户需求和信任度方面优于因果解释，用户更容易理解涉及分类特征的解释。