MoveLight: 基于运动中心的深度强化学习增强交通信号控制
内容提要
该研究提出了一种基于增强数据的强化学习方法MTLight，用于优化交通信号控制。该模型通过学习交通指标和构建辅助任务，在SUMO模拟环境中表现出色，训练时间缩短80%。实验结果表明，MTLight显著改善了车辆等待时间和排队长度，具有高度适应性和安全性。
延伸解读
MTLight 的核心创新：数据增强与辅助任务
MTLight 通过增强智能体的观察，即学习大量交通指标，并构建多个辅助任务和监督任务来学习潜在状态，从而提升泛化性能。这种方法使模型能够利用任务特定特征和任务共享特征，丰富潜在状态表示，进而在不同结构的路口上实现通用控制。
训练效率的显著提升
在 SUMO 交通模拟环境中，MTLight 成功将训练时间缩短了 80%，同时性能接近单一环境训练的模型。这表明该方法在保持高性能的同时，大幅提高了样本效率，为深度强化学习在交通信号控制中的实际部署提供了可能。
实际路口的验证效果
基于深度 Q 学习的方法在中国杭州的一个路口进行了验证，结合奖励函数动态决定相位变化。与固定信号计划相比，该方法显著改善了车辆等待时间（57.1% 至 100%）、排队长度（40.9% 至 100%）和总行程时间（16.8% 至 68.0%），展示了实际应用潜力。
Q&A
MTLight模型的主要特点是什么？
MTLight模型通过学习大量交通指标和构建多个辅助任务来增强智能体的观察，显著提高了模型的泛化性能。
MTLight在SUMO模拟环境中的表现如何？
在SUMO模拟环境中，MTLight成功将训练时间缩短了80%，并且性能接近于单一环境训练的模型。
MTLight如何改善交通信号控制的效果？
MTLight结合奖励函数，动态决定信号相位变化，显著改善了车辆等待时间、排队长度和总行程时间。
MTLight的训练时间相比传统方法有何优势？
MTLight的训练时间缩短了80%，显示出更高的训练效率。
MTLight在高峰小时模式下的表现如何？
实验结果表明，MTLight在高峰小时模式下具有高度的适应性，显著改善了车辆等待时间和排队长度。
MTLight的泛化性能如何？
MTLight通过增强数据和多任务学习显著提高了模型的泛化性能，适用于不同结构的路口。
