协同感知数据集和代码库介绍
内容提要
目前深度学习方法在协同感知方面受限于数据集的不足。然而，已经有一些大规模开放式车对车感知模拟数据集推出，如OPV2V 2022和V2XSet 2022。此外，还有一些用于VICAD和V2X辅助自动驾驶的数据集，如DAIR-V2X 2022和V2X-Sim 2022。另外，V2V4Real 2023发布了第一个大规模真实世界多模态V2V感知数据集。这些数据集对于协同感知的研究和发展具有重要意义。
延伸解读
数据集演进：从仿真到真实世界
文章梳理的协同感知数据集呈现出一条清晰的演进路径：早期以OPV2V、V2XSet、V2X-Sim等仿真数据集为主，旨在弥补真实数据稀缺的问题；随后DAIR-V2X和V2V4Real将重点转向真实场景，尤其是V2V4Real作为首个大规模真实世界多模态V2V数据集，覆盖410公里驾驶区域，标志着领域向实际部署迈出关键一步。2024年的RCooper和TUMTraf-V2X则进一步将协同范围扩展到路侧基础设施。
真实世界协同感知的三大技术挑战
文章在介绍V2V4Real时明确指出了真实协同感知面临的三个核心挑战：一是协作者相对位姿存在不可避免的误差，导致数据转换到统一坐标系时产生全局错位；二是不同传感器系统异步及通信延迟造成测量不同步；三是V2V通信带宽有限，协作检测算法必须在精度和带宽要求之间权衡。这些挑战是仿真环境中难以完全复现的，也是真实数据集价值的重要体现。
数据集差异带来的使用门槛
文章开篇即指出协同感知数据集存在两大问题：真实数据较少，以及不同数据集之间配置差异较大，需要自行修改。这意味着研究者在利用多个数据集进行训练或对比时，可能面临传感器配置、标注格式、坐标系定义等方面的不一致，增加了数据预处理和模型适配的成本。选择数据集时需关注其与自身研究目标的匹配度。
从感知任务看数据集的功能定位
不同数据集支持的任务侧重点不同。V2X-Sim为检测、跟踪和分割三个任务提供了基准；V2V4Real则引入了协作3D对象检测、协作3D对象跟踪和Sim2Real域自适应，并给出了近期算法的综合基准；RCooper同样涵盖检测和跟踪。这些任务设置反映了协同感知从基础感知向域自适应等更复杂方向拓展的趋势，研究者可根据任务需求选择合适的数据集和基准。
Q&A
什么是OPV2V 2022数据集，它的主要特点是什么？
OPV2V 2022是首个大规模开放式车对车感知模拟数据集，包含70多个场景和232,913个注释三维车辆边界框。
V2XSet 2022数据集如何提高自动驾驶汽车的感知性能？
V2XSet 2022通过应用车对物通信，提出了V2X-ViT模型，有效融合车辆与基础设施之间的信息。
V2V4Real 2023数据集的主要贡献是什么？
V2V4Real 2023是首个大规模真实世界多模态V2V感知数据集，覆盖410公里的驾驶区域，包含多种传感器数据。
DAIR-V2X 2022数据集的目的是什么？
DAIR-V2X 2022旨在加速车辆-基础设施协同自动驾驶的计算机视觉研究，是首个用于此目的的大规模多模态数据集。
V2X-Sim 2022数据集的特点是什么？
V2X-Sim 2022是一个综合模拟多代理感知数据集，提供多模态传感器流和多种地面实况，促进V2X辅助自动驾驶研究。
RCooper 2024数据集的主要内容是什么？
RCooper 2024是第一个真实世界的大规模路侧协同感知数据集，包含50k幅图像和30k个点云，旨在研究路侧合作感知。
