基于深度强化学习的 NR-V2X 系统上的信息时延与能耗联合优化
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文研究了细胞V2X通信中的资源分配与传输模式选择，提出了一种基于深度强化学习的去中心化算法和车辆聚类算法。实验结果表明，该算法在性能上优于其他基线方法，有效提高了信息更新的及时性并降低了通信成本。
🔎
延伸解读
研究背景与问题
车联网通信中，资源分配和传输模式选择直接影响信息时效性和能耗。本文针对细胞V2X通信，将联合优化问题建模为马尔可夫决策过程，并采用深度强化学习实现去中心化决策，旨在提高信息更新及时性并降低通信成本。
方法创新点
文章提出了基于图论的车辆聚类算法和分布式学习算法，并利用混合深度Q网络与深度确定性策略梯度模型解决多目标优化问题。此外，还引入两阶段元多目标强化学习来估计Pareto前沿，以平衡时延与能耗。
实验验证与优势
实验结果表明，所提算法在性能上优于其他分布式基线算法，并验证了两时间尺度联邦DRL在新激活的V2V对中的优越性。这说明了去中心化深度强化学习在动态车联网环境中的有效性和适应性。
❓
Q&A
基于深度强化学习的去中心化算法有什么优势？
该算法在性能上优于其他分布式基线算法，有效提高了信息更新的及时性并降低了通信成本。
如何通过深度强化学习优化车辆间的通信？
通过将问题转化为马尔可夫决策过程，利用深度Q学习优化车辆的加速度、减速度和变道等行为。
文章中提到的车辆聚类算法有什么作用？
车辆聚类算法用于资源分配和传输模式选择，提升了通信效率。
如何实现信息时代感知的资源块分配？
利用高斯过程回归方法实现在线无中央控制机制的网络动态学习，实时预测未来的AoI。
该研究如何提高路径规划性能？
通过基于C-V2X通信的路径规划，利用较低AoI值的V2I信息来减少道路估计误差。
文章提出的强化学习框架有哪些目标？
该框架旨在最小化道路碰撞、最大化通信数据速率，同时优化自动驾驶车辆的网络选择和驾驶策略。
🏷️
