神经符号方法在可解释性和概率决策中的多智能体强化学习
内容提要
本文综述网络化去中心化多智能体强化学习，其中代理无中央控制，通过通信网络交换信息，应用于机器人、无人车、传感器网络和智能电网。研究提出空间折扣因子、NeurComm通信协议、LTDE-Neural-AC、逻辑神经网络策略解释、符号知识SOMARL及PCTL对比解释等方法，以提升学习效率、收敛速度和可解释性。
延伸解读
可解释性方法的两条路径
文章介绍了两种提升多智能体强化学习可解释性的方法：一是生成策略总结和自然语言解释，帮助用户理解智能体协作与任务序列；二是基于PCTL逻辑公式和概率模型检验生成对比解释，回答时间查询并解释为何某些查询不可行。这些方法在实验中提高了用户满意度和性能评价，表明可解释性不仅关乎信任，也能辅助用户决策。
符号知识与逻辑约束的融合
文章提到将符号知识嵌入强化学习框架，如SOMARL利用HTN和元控制器，以及逻辑神经网络从文本观察中提取一阶逻辑事实并训练策略。这些方法旨在加速收敛并提供可解释的知识表示。实验表明，在特定基准任务上，符号方法比纯神经网络方法收敛更快，且能利用外部知识源实现无模型学习。
通信协议与空间折扣因子的作用
针对去中心化多智能体强化学习，文章提出了空间折扣因子和可微通信协议NeurComm。实验结果显示，合适的空间折扣因子能改善非通信学习曲线，而NeurComm在学习效率和控制性能上优于现有通信协议。这表明在无中央控制器的网络中，优化通信机制和折扣策略对提升协作效果具有实际意义。
Q&A
什么是网络化去中心化多智能体强化学习？
网络化去中心化多智能体强化学习是多智能体强化学习的一个分支，其中多个代理在公共环境中执行顺序决策，无需中央控制器协调，代理通过通信网络与邻居交换信息。
NeurComm通信协议有什么作用？
NeurComm是一种可微的通信协议，用于提高多智能体强化学习的学习效率和控制性能。实验表明，它在学习效率和控制性能方面均优于现有的通信协议。
如何为多智能体强化学习生成策略解释？
有两种方法：一是关于智能体协作和任务序列的策略总结，二是回答智能体行为问题的语言解释。这些方法在三个多智能体应用领域的实验和用户研究中显示出可扩展性，并显著提高了使用者满意度和性能评价。
逻辑神经网络在强化学习中如何加速收敛？
逻辑神经网络（LNNs）可以从文本观察中提取一阶逻辑事实，并使用逻辑算子训练策略，或者通过定义推理图控制不需要执行的动作，从而加速强化学习的收敛速度。实验表明，该方法比其他基于神经元符号框架的方法更快收敛。
SOMARL框架是什么？
SOMARL是一个利用符号知识嵌入HTN和元控制器中的多智能体强化学习框架，在FindTreasure和MoveBox基准实验中表现出比现有技术和基于子目标的基线更好的绩效。
如何为多智能体强化学习系统生成对比解释？
可以使用基于PCTL逻辑公式和概率模型检验的方法，为多智能体强化学习系统生成策略级对比解释，以回答时间用户查询，帮助用户理解复杂环境中代理的新兴行为，并解释为何用户查询不可行。实验表明，该方法有效提高了用户的性能与满意度。
