期望自由能的重新框架：四种表述和一个统一
内容提要
本文综述主动推理与自由能原理在深度强化学习中的应用，涵盖期望自由能最小化、探索与利用平衡、FEEF目标函数及高维任务实验，表明主动推理可统一强化学习与示范学习，并具样本效率优势。
延伸解读
主动推理与深度强化学习的融合
文章指出，主动推理框架通过期望自由能最小化，能够统一强化学习与示范学习。实验显示，主动推理代理与奖励最大化代理在学习表示上相似，但前者因动作选择偏差（一直选择下方）导致数据收集不足，差异源于认知价值。这提示在深度强化学习中，主动推理可能提供更原则性的探索机制，但需注意动作选择策略对数据效率的影响。
探索与利用平衡的新视角
文章将期望自由能分解为外部价值和内部价值，以平衡探索与利用。研究发现，探索行为并非简单的自由能最小化，并提出了新目标函数FEEF，其具有预期自由能的认知成分，同时基于预测与期望未来之间的差异。这为设计更高效的探索策略提供了数学基础，但实际应用中需权衡计算复杂度与性能提升。
高维任务中的样本效率优势
在高维任务上实施主动推理，文章证明了其可行性，并展示了与强模型无关基线相比，样本效率有数量级提升和操作同质性。这表明主动推理在复杂环境中可能显著减少数据需求，但实验细节和任务范围有限，读者需关注其泛化能力和实际部署的挑战。
主动推理的扩展与工业应用前景
文章介绍了利用CFFG实现主动推理的算法，以及允许直接策略推断的新算法，以解决阻碍主动推理在工业应用中扩展的问题。这为构建具有限制的平衡图提供了新途径，但工业应用仍需克服扩展性和实时性等障碍，读者应关注后续实证研究。
Q&A
主动推理如何统一强化学习和示范学习？
主动推理可以涵盖强化学习和示范学习技术，通过自由能最小化原则同时处理两种学习范式，并在山车问题等标准任务上得到验证。
期望自由能最小化的主动推理代理与奖励最大化代理在学习表示上有何异同？
除了最后一层的critic网络以及转移和编码器网络的方差层，两者的学习表示相似，但主动推理代理会因动作选择一直选择下方而无法收集足够多的数据，差异在于双方的认知价值。
FEEF目标函数是什么？它如何平衡探索与利用？
FEEF是预期未来的自由能，具有预期自由能的认知成分，同时具有预测和期望未来之间差异度的数学基础，通过分解EFE为外部价值和内部价值来平衡探索和利用。
主动推理在高维任务中的表现如何？
在高维任务上实施主动推理证明了可行性，并展现了与强模型无关基线相比样本效率的数量级提升和操作同质性。
主动推理如何解决探索与利用的困境？
主动推理通过递归形式的期望自由能，对信念状态的序列进行搜索，从而原则性地解决探索与开发的问题，并已在深度决策问题上验证。
主动推理在机器人导航中有哪些应用？
基于自由能最小化原则的主动推理理论提出了输出-概率、时间预测、模块化人工神经网络结构，能够处理感觉运动信息，实现灵活驾驶、避免障碍和选择通往目的地的路径，并适用于零样本推广到不同地形。
