主动推理作为代理模型
内容提要
本文综述主动推理研究，基于自由能原理，结合深度学习与蒙特卡罗采样构建神经智能体，用于解决强化学习、示范学习及探索与开发问题，并首次应用于真实机器人导航，实现样本效率数量级提升与零样本泛化。
延伸解读
主动推理与强化学习的效率对比
文章指出，主动推理智能体在样本效率上相比强模型无关基线有数量级提升，且操作同质性高。这意味着在相同任务下，主动推理可能用更少交互达到相近性能，但需注意其实现依赖深度学习与蒙特卡罗采样，计算成本可能较高。
探索与开发的主动推理解决路径
文章提到，通过递归形式的期望自由能，对信念状态序列进行搜索，可解决探索与开发问题。这为深度决策问题提供了一种基于自由能最小化的新思路，但文章也指出，主动推理代理可能因动作选择一直选择下方而无法收集足够数据，与奖励最大化代理存在认知价值差异。
真实机器人导航的首次应用与泛化能力
文章强调，这是深度主动推理在真实世界机器人导航任务中的首次应用，实现了零样本泛化，适用于不同地形环境。这表明主动推理不仅限于模拟，还能处理高维传感器数据，但实际部署中可能受限于传感器噪声和动态环境的不确定性。
Q&A
主动推理是什么？它基于什么原理？
主动推理是一种基于自由能原理的理论框架，用于解决机器学习中的强化学习和示范学习问题。它通过最小化期望自由能来指导智能体的行为，涵盖强化学习和示范学习技术。
主动推理如何与深度学习结合？
主动推理可以与深度学习结合，构建神经智能体。例如，提出建立在深度学习结构之上的主动推理智能体神经架构，并使用蒙特卡罗采样方法，使智能体更有效地学习环境动态和模拟未来状态转换。
主动推理在机器人导航中有哪些应用？
主动推理已首次应用于真实世界机器人导航任务，能够处理高维传感器数据，实现样本效率的数量级提升和零样本泛化。智能体可以灵活驾驶、避免障碍并选择通往目的地的路径，适用于不同地形的环境。
主动推理如何解决探索与开发问题？
主动推理通过采用递归形式的期望自由能方法，对信念状态的序列进行搜索来解决探索与开发问题。这种方法在深度决策问题上得到了验证。
主动推理智能体与强化学习智能体有何异同？
主动推理智能体与强化学习智能体在学习表示上相似，除了最后一层的critic network以及转移和编码器网络的方差层。但主动推理智能体最小化期望自由能，而强化学习智能体最大化奖励。主动推理智能体可能因动作选择一直选择下方而无法收集足够多的数据，差异在于双方的认知价值。
主动推理在离散状态空间模型中的数学基础是什么？
主动推理在离散状态空间模型中有完整的数学综合，从基本原理推导神经动力学，并将此动力学与生物过程联系起来。这是了解混合生成模型中主动推理所需的基本构建块。
