基于逆变器的部分可观测配电网络中的稳健深度强化学习电压-无功控制
内容提要
本文探讨了利用深度强化学习和马尔可夫决策过程优化电压调节的方法，提出多种算法以协调智能逆变器，解决电网电压控制问题。研究表明，这些算法在不同配电网络中提高了性能和效率，推动了强化学习在电力系统中的应用。
延伸解读
研究演进脉络
文章按时间顺序梳理了2018年至2024年基于强化学习的电压无功控制研究进展。从早期利用负载开关调节电压，到协调智能逆变器、两阶段学习、多智能体分散控制，再到参考模型辅助、基于模型、贝叶斯强化学习以及安全过滤器和开源库，体现了该领域从简单场景向复杂部分可观测配电网络、从集中式向分散式、从单一智能体向多智能体、从模型依赖向数据驱动与安全强化学习的发展趋势。
核心挑战与应对
文章指出，配电网络电压控制面临状态和动作空间大、部分可观测、通信成本高、模型不准确等挑战。为此，研究者分别采用线性电流模型估计电压、多智能体约束软演员-评论家算法实现分散控制、两阶段学习安全迁移离线策略、参考模型缩小动作空间、贝叶斯强化学习捕捉不确定性、分布式稳健安全过滤器减少约束违规。这些方法旨在提升控制性能、样本效率和训练效率，同时降低对精确模型的依赖。
验证平台与效果
文章列举了多项研究在IEEE标准测试系统上的验证结果，包括IEEE 13节点、37节点、123节点、300节点、14总线以及WSCC系统。这些测试涵盖了不同规模和特性的配电网络，用于评估算法在维持电压在允许范围内、减少光伏生产限制、降低系统损失、提高样本效率和训练效率等方面的表现。例如，基于模型的方法在IEEE 300总线系统上实现了97.5%的样本效率和87.7%的训练效率；RL-ADN库可实现十倍计算效率提升。
实际应用考量
文章强调，强化学习在配电网络电压控制中的应用需考虑实际部署中的安全性和通信限制。分布式稳健安全过滤器可显著减少训练期间与真实系统交互时的操作约束违规，同时保持接近最优解。在线多智能体分散控制框架无需事先准确的主动配电网模型，能适应各种计算和通信条件。这些进展表明，强化学习正逐步从仿真验证走向实际应用，但安全性和效率仍是关键考量因素。
Q&A
如何利用深度强化学习优化电压调节？
通过基于Markov决策过程和深度强化学习的算法，协调多个智能逆变器以满足电网电压操作限制。
什么是在线多智能体强化学习框架？
这是一个用于解决Volt/Var控制问题的框架，采用多智能体约束软演员-评论家算法，实现分散式优化控制。
研究中提出的贝叶斯强化学习方法有什么优势？
该方法能够自动捕捉因网络攻击导致的不确定性，保持电压控制的持续性，并在大规模电力系统中有效应用。
如何提高逆变器调压控制的性能？
通过基于参考模型辅助的深度强化学习方法，优化逆变器调压控制的应用性能。
研究中使用的两阶段深度强化学习方法有什么特点？
该方法通过高效的对抗性强化学习算法训练离线代理，并安全地转移到在线代理中，显著提高安全性和效率。
RL-ADN库在配电网络中的作用是什么？
RL-ADN库显著提高了深度强化学习代理的性能和训练效率，推动了强化学习在配电网络操作中的应用。
