线性约束在线 LQG 问题的策略优化的遗憾分析
内容提要
本研究探讨了环境噪音干扰下的线性动态系统控制问题，提出了多种在线和离线控制策略的优化方法。研究表明，离线策略的代价会随着时间收敛于在线策略，并提出了自适应控制算法，能够有效处理未知系统，实现次线性遗憾上界。
延伸解读
离线与在线策略的收敛关系
文章指出，离线线性策略的代价会随时间增长收敛于在线策略的代价，即使在噪声被对抗选择的情况下。这意味着离线优化方法在长期运行中能逼近在线最优性能，为实际系统设计提供了理论依据：在噪声干扰下，离线策略仍具竞争力，但需关注收敛速度与噪声特性。
自适应控制处理未知系统的进展
针对未知线性系统，文章提出了基于模型评估的自适应控制在线学习算法，通过与环境交互估计动态，并利用在线梯度下降更新控制器。该算法达到Polylog(T)遗憾上界，表明在部分可观测系统中，自适应控制能高效学习并控制，但遗憾上界与时间步数、输入和状态维度相关，实际应用需权衡维度影响。
在线学习算法的遗憾保证与效率
在已知嘈杂动力学和对抗二次损失下，文章提出了保证O(√T)遗憾的在线学习算法，依赖于对系统稳态分布的新型SDP松弛，其可行解对应强稳定策略。这为在线控制提供了理论保障，但SDP松弛的计算复杂度可能影响实时性，需注意算法效率与稳定性的平衡。
模型预测控制与前瞻窗口的影响
文章研究了在线LQR控制中时变成本与干扰的动态后悔，采用具有有限前瞻窗口的模型预测控制（MPC），并证明后悔随预测长度指数下降。这表明增加前瞻窗口能显著提升性能，但对扰动的不准确预测会影响效果，实际部署需权衡预测精度与计算负担。
Q&A
线性动态系统控制中环境噪音的影响是什么？
环境噪音干扰会影响线性动态系统的调节效果，导致控制策略的代价增加。
离线控制策略与在线控制策略的代价有什么区别？
离线控制策略的代价会随着时间增长而与在线策略的代价收敛。
自适应控制算法的主要优势是什么？
自适应控制算法能够有效处理未知线性系统和需求预测问题，具有良好的控制保障。
如何实现在线控制下的最优遗憾界限？
通过在线梯度下降和在线自然梯度等高效迭代方法，可以实现在线控制下的最优遗憾界限。
ExpCommit算法的应用场景是什么？
ExpCommit算法用于在未知模型动态的情况下，最小化部分可观测线性二次控制系统中的后悔。
在处理未知系统参数时，误差的最优性与哪些因素相关？
误差的最优性与时间步数、输入空间和系统状态空间的维度相关。
