ACE：具有因果感知熵调整的离策略演员 - 评论家算法

本文对神经网络近似的NAC算法进行了有限时间分析，探讨了神经网络、正则化和优化技术在样本复杂性、迭代复杂性和过度参数化上的作用。熵正则化和平均化通过提供足够的探索避免了过于确定性和严格次优策略。正则化导致了在正则化MDPs中的尖锐样本复杂度和网络宽度，这在策略优化中产生了有利的偏差-方差权衡。全局优化中实现演员神经网络的均匀逼近能力也被发现具有重要性。