利用最大均值差异质心在强化学习中传播价值函数的不确定性
内容提要
本文提出了一种基于最大均值差异的变体ELBO，替代KL散度，从而提升图像分类任务的性能。同时，研究了多智能体马尔可夫决策过程中的强化学习算法，以降低智能体成本。此外，探讨了模型不确定性对决策过程的影响，提出了新的不确定Bellman方程和鲁棒Q学习算法，增强了样本效率和算法的鲁棒性。
延伸解读
从KL散度到最大均值差异：变分推断的改进
文章提出用最大均值差异（MMD）替代KL散度来构造变分下界（ELBO），并在多个图像分类基准上取得优于现有技术的结果。这一改进的核心在于MMD不要求概率分布有重叠支撑，可能缓解KL散度在分布不匹配时的数值问题。同时，文章还给出了新的不确定性估计公式，并验证了其对抗攻击和输入噪声的鲁棒性，为分类任务提供了更可靠的置信度度量。
多智能体强化学习：降低个体成本的新思路
针对多智能体马尔可夫决策过程，文章提出一种基于黑韦尔可接近性定理的强化学习算法，目标是将每个智能体的时间平均成本降至预设界限以下。算法在Q学习框架中融入各智能体成本的加权组合，并通过Metropolis-Hastings或乘法权重形式的传闻算法调整平均矩阵。采用多时间尺度更新，理论证明在温和条件下能近似达到期望界限，并在联合控制的更一般设置中展示了实证性能。
模型不确定性下的决策：不确定Bellman方程与鲁棒算法
文章关注模型不确定性对马尔可夫决策过程的影响，提出新的不确定Bellman方程以更准确地量化累积奖励的不确定性，从而弥补探索不足，实验表明能提高样本效率。此外，还设计了鲁棒Q学习和鲁棒TDC算法，可在线上和增量场景下实现，并证明了Q学习收敛到最优鲁棒Q函数、TDC渐近收敛到稳定点。这些工作为不确定性环境下的决策提供了理论保证和实用算法。
Q&A
什么是最大均值差异的理解下界（ELBO）？
最大均值差异的理解下界（ELBO）是一种替代KL散度的变体，用于提升图像分类任务的性能。
如何降低多智能体马尔可夫决策过程中的智能体成本？
通过提出一种新的强化学习算法，结合每个智能体成本的加权组合，降低每个智能体的时间平均成本。
模型不确定性如何影响决策过程？
模型不确定性会影响累积奖励的估计，提出的不确定Bellman方程能够更准确地反映这一影响。
新提出的Q-learning算法有什么特点？
新提出的Q-learning算法解决了分配鲁棒的马尔可夫决策问题，并证明了其收敛性。
如何提高强化学习算法的样本效率？
通过提出一种新的不确定Bellman方程，能够更准确地量化累积奖励的不确定性，从而提高样本效率。
鲁棒Q学习算法的实现条件是什么？
鲁棒Q学习算法可以在线上和增量情况下实现，并在不需要收敛性保证的情况下证明其收敛到最优的鲁棒Q函数。
