控制置信成本
内容提要
本文探讨了非线性随机最优控制问题，采用KL最小化方法和近似推理技术进行优化控制计算。研究内容包括线性二次控制问题、鲁棒LQG控制器的样本复杂度、攻击模型对LQG学习者的影响，以及量子LQG控制问题的物理可实现性，提出了多种控制算法和理论保证，以提高对强化学习控制系统安全威胁的认识。
延伸解读
从控制到推理：KL最小化框架
文章将非线性随机最优控制问题转化为KL最小化问题，从而利用近似推理方法高效计算近似最优控制。这种转化建立了控制与推理之间的桥梁，使控制问题可以借助概率推理工具求解。读者可以关注这种跨领域方法如何降低计算复杂度，并为后续鲁棒控制、量子控制等研究提供统一视角。
安全威胁：成本信号篡改攻击
文章提出一种攻击模型，攻击者通过篡改成本信号欺骗LQG学习者。实验表明，仅需篡改2.296%的成本数据，就能使批处理RL学习到导致车辆进入危险位置的恶意策略；持续提供接近真实成本的篡改信号，也能逐渐欺骗ADP学习者。这提醒我们，基于RL的控制系统面临严重的安全威胁，需重视成本信号的完整性保护。
量子LQG控制的物理可实现性
针对量子线性随机系统，文章提出可完全量子化植物输出信号的量子LQG最优控制问题，并设计了带附加约束的控制器。通过基于交替投影算法的数值方法，成功解决了完全量子控制器设计示例。这一工作将经典LQG理论拓展到量子领域，为量子控制的实际实现提供了算法基础。
样本复杂度与鲁棒控制保证
文章在部分观察的线性二次高斯问题中，通过鲁棒综合程序建立了学习稳定开环植物的鲁棒LQG控制器的样本复杂度界限。同时，针对未知传递动态的线性二次控制问题，给出了确定性等价控制器与最优控制器之间的成本差界限。这些理论结果为控制算法的数据效率和鲁棒性提供了量化保证。
Q&A
KL最小化方法在控制系统中的应用是什么？
KL最小化方法用于表述非线性随机最优控制问题，并通过近似推理方法进行优化控制计算。
鲁棒LQG控制器的样本复杂度界限是什么？
鲁棒LQG控制器的样本复杂度界限是针对部分观察的线性二次高斯问题进行研究的结果。
攻击模型如何影响LQG学习者？
攻击模型通过篡改成本信号来欺骗LQG学习者，可能导致学习到“恶意”策略。
量子LQG控制问题的物理可实现性如何？
量子LQG控制问题的物理可实现性通过提出完全量子化植物输出信号的控制器设计问题来探讨。
如何减少与环境的相互作用次数？
可以通过基于概率模型预测控制的RL框架来减少与环境的相互作用次数，使用高斯过程学习概率转换模型。
无模型算法在控制系统中的优势是什么？
无模型算法通过将控制问题转化为专家预测问题，提供了简单通用的实现，具有多项理论保证和良好的性能。
