基于变分量子电路的强化学习的车载网络优化
内容提要
本文提出了一种基于强化学习的框架，旨在优化自动驾驶车辆的网络选择和驾驶策略，以最小化碰撞和最大化通信数据速率。通过多目标马尔可夫决策过程，结合深度 Q 网络和变分量子电路，研究了车辆运动动态与通信效率之间的关系，验证了该方法在安全驾驶和连接性改善方面的有效性。
延伸解读
多目标冲突与偏好处理
文章将网络选择与驾驶策略优化建模为多目标马尔可夫决策过程，需同时权衡交通流量、碰撞风险、通信可靠性和切换次数等冲突目标。针对预设偏好，采用深度Q网络和双深度Q网络进行奖励标量化；针对未知偏好，则开发信封MORL方案，利用广义贝尔曼方程优化多目标Q值的凸包，学习统一参数表示，从而在任意偏好下生成最优策略或从少量样本推断偏好。
变分量子电路的作用与优势
文章探讨了变分量子电路在深度强化学习中的应用，通过量子信息编码方案减少模型可训练参数，并利用经验回放和目标网络重塑经典算法。研究表明，VQC可作为函数逼近器构建深度Q学习模型，在经典控制基准中具有适用性，且增加量子比特数不会导致梯度幅度和方差指数级递减。此外，基于VQC的树状方法在多智能体强化学习中相比神经网络参数减少97.88%，性能更优。
方法验证与性能表现
数值结果验证了基于信封的MORL解决方案的有效性，展示了车辆运动动态、切换和通信数据速率之间的相关性。所提出的策略使自动驾驶车辆能够采用安全驾驶行为，并改善连接性。同时，研究证明变分量子电路可用于决策制定和政策选择强化学习，适用于近期量子计算机，为车载网络优化提供了新思路。
Q&A
如何通过强化学习优化自动驾驶车辆的网络选择？
通过将问题转化为多目标马尔可夫决策过程，结合深度 Q 网络，优化车辆的加速度、减速度和变道等行为，从而实现网络选择的优化。
变分量子电路在深度强化学习中有什么应用？
变分量子电路用于减少模型参数，提高性能，并通过量子信息编码方案优化经典深度强化学习算法。
该框架如何提高自动驾驶的安全性和通信效率？
通过控制车辆的运动动态，最大化交通流量，最小化碰撞，并增强通信的可靠性和低延迟，从而提高安全性和通信效率。
多目标强化学习框架的主要特点是什么？
该框架能够处理具有未知偏好的多目标策略，优化无线网络选择和自主驾驶策略，减少对标量奖励的依赖。
研究结果如何验证所提出策略的有效性？
通过数值结果展示车辆运动动态、切换和通信数据速率之间的相关性，验证了安全驾驶行为和改善的连接性。
如何处理多目标马尔可夫决策过程中的冲突目标？
开发了一种新颖的信封 MORL 解决方案，能够为代理器处理具有未知偏好的多目标提出策略，优化多目标 Q 值的凸包。
