空间感知深度强化学习与巡逻官员问题
内容提要
该文汇总多项智能交通与组合优化研究：利用学习排序与异构图自动推荐可用停车位；提出注意力增强深度强化学习LOPA，提升全局路径规划的收敛性与泛化性；用熵正则最优传输提升组合优化学习效率；基于EfficientNet改进停车场占用检测；提出强化学习在线覆盖路径规划；用层次强化学习H-TSP求解大规模TSP；用经理—工作人员框架求解带时间窗和拒绝的多车TSP；用NODEs预测停车占用与价格并优化定价；提出端到端智能摄像头停车系统OcpDet；提出空间规划变换器SPT生成长程空间相关路径。
延伸解读
停车智能化的多环节技术拼图
文章汇总的停车研究覆盖了从车位推荐、占用检测到价格优化的多个环节。例如，基于学习排序和异构图的方法在香港和旧金山试验中表现良好；EfficientNet管道和OcpDet系统分别从算法和端到端摄像头角度提升占用检测；NODEs则用于预测占用与价格并优化定价。这些工作表明停车智能化并非单一技术突破，而是感知、预测、推荐与定价等环节的协同。
强化学习在路径规划中的收敛与泛化挑战
LOPA通过注意力模型和双通道网络，针对深度强化学习在全局路径规划中收敛性和泛化性不足的问题进行改进，多目标实验显示其收敛性、泛化性和效率均有提升。在线覆盖路径规划则结合全局地图与局部感知，利用全变差奖励追求无漏洞覆盖。这些尝试说明，强化学习应用于空间任务时，如何平衡学习效率与跨场景适应仍是关键。
组合优化：从大规模TSP到带拒绝的变体
H-TSP采用层次强化学习框架，通过选择子集并直接生成解决方案来应对大规模TSP，强调可扩展和高效。另一项工作用经理—工作人员框架求解带时间窗和拒绝的多车TSP，允许拒绝无法按时服务的客户，实验显示在大型问题上能获得高质量解和更短计算时间。此外，熵正则最优传输被用作网络层以加速学习并强制约束。这些方法共同反映了用学习技术处理复杂组合优化问题的趋势。
Q&A
如何自动推荐可直接使用的停车位？
基于learn-to-rank模型和异构图的方法，可以自动推荐出直接可用的停车位，实现实时停车信息提供，并在香港和旧金山的试验中表现良好。
LOPA方法如何解决深度强化学习在全局路径规划中的收敛性和泛化性问题？
LOPA（Learn Once Plan Arbitrarily）是一种注意力增强的深度强化学习方法，通过建立注意力模型和构建双通道网络，解决了全局规划任务中DRL的收敛性和泛化性不足问题，实验证明其具有改进的收敛性、泛化性和出色的路径规划效率。
熵正则化最优传输如何提升组合优化问题的学习效率？
利用熵正则化最优传输技术作为深度强化学习网络中的一层，可以实现更快速的学习，并在端到端训练期间强制执行分配约束和规定，从而优化解决组合优化问题的效率。
如何改进停车场占用检测的泛化能力？
通过比较和评估现有车位检测算法和视觉转换器，提出了一种基于EfficientNet体系结构的新管道，增加了现有系统的泛化能力并适应特定视觉条件，从而提高了停车场占用检测的效果。
在未知环境中如何进行在线覆盖路径规划？
提出了一种基于强化学习的在线覆盖路径规划方法，适用于连续状态和动作空间，处理未知环境的大型区域。它结合全局地图和局部感知输入，构建多尺度地图输入表示的观测空间，并通过全变差奖励实现学习路径上无漏洞覆盖的目标。
如何用层次强化学习求解大规模TSP问题？
提出了一种基于层次强化学习的端到端学习框架H-TSP，通过选择子集并使用深度学习模型直接生成解决方案，具有可扩展和高效性，用于解决大规模TSP问题。
如何处理带时间窗和拒绝的多车TSP问题？
提出了一种基于深度强化学习的经理-工作人员框架来解决具有时间窗口和拒绝的多车TSP变体，其中不能在截止日期前提供服务的客户可能被拒绝。实验证明该框架在解决大型问题时具有高质量解决方案和更短计算时间。
如何预测停车场占用率和价格并优化定价？
提出了一种基于预测的优化框架，使用深度学习技术和神经普通微分方程（NODEs）设计预测模型，预测停车场的占用率和价格信息，并使用一次性价格优化方法优化预测模型使用的价格输入，以实现针对性的停车栏目占用率。实验证明该模型准确率高于其他模型，且一次性优化方法搜索时间较少并始终返回最优价格解。
端到端智能摄像头停车系统OcpDet是如何工作的？
OcpDet是一个基于端到端智能摄像头的停车系统，通过对象检测器自主发现停车位的占用情况，并在推理过程中通过对比模块提供有意义的信息，避免误检测。在PKLot数据集上基准测试结果与传统分类解决方案相当，同时引入了SNU-SPS数据集评估系统性能，结果显示该系统非常适合实际应用。
空间规划变换器SPT如何用于路径规划？
利用数据中的统计规律，提出了空间规划变换器（SPT），通过学习障碍地图生成长程空间相关的行动来规划移动路径，实现了比先前数据驱动规划方法更好的算法，能够适应不同的障碍地图和任务目标。
