主动推理和部分可观测马尔可夫决策过程中的信息价值和奖励规范化
内容提要
本文探讨了自由能原理与主动推理在机器学习中的应用，特别是在强化学习和示范学习中的结合。研究提出了预期自由能的数学基础，分析了探索与利用的平衡，并介绍了基于主动推理的深度强化学习理论及其在复杂任务中的应用，提供了新的算法和视角。
延伸解读
主动推理与强化学习的融合趋势
文章梳理了从2015年到2024年主动推理与强化学习结合的研究脉络。早期工作将主动推理应用于经典强化学习问题，随后逐步发展出深度强化学习框架。这一趋势表明，主动推理正从理论走向实际算法，并试图统一信息寻求与奖励最大化，为智能体在复杂环境中的决策提供新思路。
探索与利用的平衡机制
文章重点讨论了通过分解预期自由能为外部价值和内部价值来平衡探索与利用。外部价值对应奖励最大化，内部价值对应信息增益。这种分解为探索行为提供了数学基础，并催生了新的目标函数，如预期未来的自由能，使智能体在预测与期望之间进行权衡。
深度主动推理的实践挑战
基于主动推理的深度强化学习利用Monte-Carlo搜索和深度学习处理复杂任务。实验发现，主动推理代理与奖励最大化代理在学习表示上相似，但前者可能因动作选择偏差导致数据收集不足。这揭示了认知价值在实践中的潜在风险，提示需要进一步优化算法以平衡探索与数据效率。
理论扩展与未决问题
文章指出，根期望自由能的定义在不同设置下存在差异。一种设置下，代理不能任意偏好观测，只有与生成模型兼容的先验偏好才被允许；另一种设置下，正当化已知但仅涵盖两种表达方式。这些限制表明主动推理的理论基础仍需完善，尤其是在观测先验偏好和定义正当化方面。
Q&A
主动推理在机器学习中有什么应用？
主动推理在机器学习中主要应用于强化学习和示范学习，帮助解决相关问题。
什么是预期自由能，它的数学基础是什么？
预期自由能是一个新的目标函数，具有认知成分和数学基础，用于平衡探索与利用。
如何通过主动推理解决探索与开发的问题？
通过采用递归形式的期望自由能，主动推理能够有效解决探索与开发的问题。
基于主动推理的深度强化学习理论有什么特点？
该理论结合Monte-Carlo搜索和深度学习，能够解决更复杂的任务，并验证算法在深度决策中的能力。
主动推理如何与强化学习结合以实现奖励最大化？
主动推理与强化学习结合形成统一原理，旨在实现信息寻求和奖励最大化，克服各自的局限性。
根期望自由能的定义有什么重要性？
根期望自由能的定义有助于理解探索行为的正当化，并探讨观测先验偏好的限制。
