动态系统中深度神经网络在线自适应的控制理论技术
内容提要
该文综述深度学习与控制理论的交叉研究，涵盖可控性约束增强模型估计、DDP与博弈论优化器、dropout自适应控制、在线深度学习及基于模型的强化学习，旨在提升动态系统控制的性能与鲁棒性。
延伸解读
可控性约束提升数据驱动控制
文章提出一种控制理论方法，通过加入可控性约束来增强数据估计的模型，从而从数据中提取更有效的控制器。该方法展示了深度神经网络模型估计与控制理论保证之间的联系，并在两个标准经典控制系统中验证了优势。这表明在缺乏动力学知识时，结合控制理论约束能提升数据驱动控制器的有效性。
dropout自适应控制器的性能提升
基于dropout的深度神经网络自适应控制器通过随机失活权重并引入Lyapunov实时调整规律，实现了在线无监督学习。非光滑Lyapunov稳定性分析保证了跟踪误差的渐近收敛。模拟结果显示，与无dropout正则化的控制器相比，跟踪误差提高38.32%，函数逼近误差改善53.67%，控制效果降低50.44%。
优化器设计的控制理论视角
文章介绍了两种基于控制理论的优化器：DDPNOpt将训练视为轨迹优化，利用差分动态规划，具有层间反馈和收敛性高等优点；DGNOpt将每层视为动态博弈中的玩家，通过求解多人合作游戏进行训练，在残差网络和Inception网络上表现出更好的收敛效果。这些工作展示了最优控制理论在神经网络训练中的新思路。
离线监督学习在反馈控制中的优势
针对以神经网络为基础的反馈控制器，文章比较了在线直接政策优化和离线监督学习两种方法。研究表明，离线监督学习在优化和训练时间上更具优势，并提出'Supervised Pre-train and Fine-tune'训练方法，可显著提高性能和鲁棒性。这为高效解决最优控制问题提供了实用方向。
Q&A
如何在不了解系统动力学的情况下控制动态系统？
文章提出一种控制理论方法，通过加入可控性约束来增强数据估计的模型，从而从数据中提取更有效的控制器。该方法展示了基于深度神经网络的模型估计与解决方案性质的控制理论保证之间的联系，并在两个标准经典控制系统中证明了其优势。
深度神经网络训练如何从最优控制角度重新设计？
文章提出将深度神经网络的训练过程从轨迹优化的角度重新制定，并提出了基于差分动态规划的优化器 DDPNOpt。该优化器具有层间反馈策略、收敛性高等优点，在避免梯度消失方面表现出优越性，展示了基于最优控制理论的算法设计新思路。
基于dropout的自适应控制器如何提高跟踪性能？
该控制器通过随机选择每个层内的权重进行随机失活，并引入基于Lyapunov的实时权重调整规律来实现在线无监督学习。经过非光滑的Lyapunov稳定性分析，保证了跟踪误差的渐近收敛。与无dropout正则化的自适应深度神经网络控制器相比，模拟结果显示跟踪误差提高了38.32%，函数逼近误差改善了53.67%，控制效果降低了50.44%。
如何利用博弈论优化神经网络训练？
文章提出了一种动态博弈论神经优化器（DGNOpt），将每个神经网络中的每个层视为动态博弈中的玩家来进行训练。该优化器不仅将OCT-inspired优化器推广到更丰富的网络类，还通过求解多人合作游戏提出了一种新的训练原则，并在残差网络和Inception网络的图像分类数据集上表现出更好的收敛效果，结合了OCT和博弈论的优点。
在线深度学习如何处理概念漂移？
文章提出了一种在线深度学习框架，使用新提出的Hedge Backpropagation方法，实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的DNN模型学习。
基于模型的强化学习如何结合先验知识？
文章提出了一种基于模型的强化学习算法，将以前任务的先验知识与在线动态模型适应相结合，实现了高效学习，并且成功地应用于各种复杂机器人操纵任务。
