深度多任务神经网络解决一些随机最优控制问题
内容提要
该文综述深度学习在随机最优控制中的应用：利用神经网络逼近高维控制策略，可处理数十维问题并保持精度；涵盖强化学习控制、离散最优控制训练、最优停止与模型预测控制，兼顾理论保证与稀疏部署。
延伸解读
高维随机控制中的神经网络方法
文章指出，通过蒙特卡洛采样和深度学习，可将高维随机控制问题的时间依赖控制近似为前馈神经网络，并作为目标函数。测试表明，该方法能处理高维度问题且精度令人满意，甚至将准确性扩展到d=30的维度。这为传统方法难以解决的高维控制问题提供了新途径。
强化学习在连续控制任务中的应用
文章提到，多层神经网络在连续高维动作任务中通过强化学习训练后能实现控制策略，成功训练了具有成千上万个参数的神经网络控制器，并比较了不同结构。这显示了强化学习在复杂控制问题中的潜力，但也需注意训练成本和稳定性。
稀疏神经网络与低内存部署
基于离散时间最优控制的深度学习训练算法（MSA）通过约束权重在离散集合内，获得了非常稀疏的三值网络权重，有助于在低内存设备上部署。这表明在追求性能的同时，模型压缩和效率也是实际应用中的重要考量。
最优停止问题的机器学习近似
研究提出使用神经网络逼近继续价值来解决最优停止问题，适用于高维问题，并具有理论保证。随机强化学习和随机循环神经网络方法在Markovian和非Markovian示例中均优于现有方法，还可用于计算美式期权的希腊字母，展示了机器学习在金融等领域的应用价值。
Q&A
深度多任务神经网络如何用于解决高维随机最优控制问题？
通过蒙特卡洛采样的深度学习方法，将高维随机控制问题的时间依赖控制近似为前馈神经网络，用作控制问题的目标函数，可以处理高维度问题并具有令人满意的准确性。
深度神经网络在随机最优控制中能处理多高维度的问题？
可以处理数十维问题，例如通过深度神经网络技术将准确性扩展到 d=30 的维度。
有哪些深度学习算法被用于训练随机最优控制策略？
包括基于离散时间最优控制问题的深度学习训练算法（MSA），通过约束权重在离散集合内实现训练，获得稀疏的三值网络权重；以及强化学习方法，通过训练神经网络控制器实现控制策略。
深度学习在最优停止问题中有哪些应用？
使用神经网络逼近继续价值，适用于高维问题，可用简单线性回归优化，并获得理论保证；随机强化学习方法和随机循环神经网络方法在 Markovian 和非 Markovian 示例中优于现有最先进的机器学习方法，还可用于有效计算美式期权的希腊字母。
深度学习方法如何解决随机最优控制中的不确定性和计算成本问题？
通过强化学习框架解决随机动态规划方程，所得控制器对多种约束条件安全，能主动学习建模不确定性，实现实时学习；同时，集成模型学习和预测控制框架通过逐渐稀疏化神经网络进行端到端优化，在保证预测准确性的基础上取得更好的闭环控制性能。
深度多任务神经网络在随机最优控制中有哪些实际应用案例？
成功解决了投资-消费问题的数值实例，并可用于机器人和自主决策问题中的不确定性决策制定。
