CMDA：基于 LiDAR 的三维物体检测的跨模态和领域对抗适应
内容提要
本文介绍了多种无监督领域自适应方法，旨在解决不同领域间的偏移问题，包括“SSDA3D”方法、数据导向领域适应框架和跨模态学习。这些方法在3D语义分割和激光雷达数据处理上取得了显著效果，减少了对标注数据的依赖，提升了模型性能。
延伸解读
领域自适应的核心挑战与应对思路
文章指出，不同LiDAR配置、城市、天气等因素会导致领域偏移，影响三维物体检测性能。为此，研究者提出了多种无监督或半监督领域自适应方法，如SSDA3D、DODA等，旨在减少对目标域标注数据的依赖。这些方法通过数据增强、跨模态学习、自训练等策略，在3D语义分割和检测任务上取得了显著效果，部分方法在仅使用10%目标标注时即超越全监督模型。
跨模态学习成为重要技术路径
跨模态无监督领域自适应利用二维图像与三维点云的互补性，提升模型在新领域中的泛化能力。例如，基于鸟瞰图的跨模态学习方法优化了领域无关表示，在多个三维数据集上优于现有方法；CMDA框架则利用图像和事件模态进行夜间语义分割，仅需白天图像标签。这些工作表明，融合多模态信息是应对领域偏移的有效手段。
自训练与特征对齐策略的演进
为减少噪声伪标签的影响，ConDA方法通过构建中间领域和熵聚合器进行自训练，提升了LiDAR分割的域适应效果。此外，隐式表面表示、空间几何与时间运动对齐等策略也被用于缓解不同激光雷达模式或设备带来的性能差异。这些方法从特征层面进行对齐，推动了跨设备3D检测的性能提升。
领域自适应在医学与室内场景的拓展
领域自适应技术不仅应用于自动驾驶，还拓展至医学图像分割和室内3D语义分割。例如，结合变分自编码器特征先验匹配和域对抗训练的方法，在仅使用一个未标记3D CT扫描的情况下，在多模态心脏图像分割上超越现有技术；DODA框架通过虚拟扫描模拟和长方体混合，在室内语义分割中优于其他7种UDA方法。
Q&A
什么是SSDA3D方法，它解决了什么问题？
SSDA3D是一种半监督领域自适应方法，旨在解决不同LiDAR配置、城市和天气等领域间的偏移问题，且在仅有10%目标数据标注的情况下超越了完全监督模型。
DODA框架的主要功能是什么？
DODA框架通过虚拟扫描模拟和基于长方体的混合，减轻不同领域之间的模式和上下文差异，在3D室内语义分割中表现优于其他7种UDA方法。
跨模态无监督领域自适应的目的是什么？
跨模态无监督领域自适应旨在利用二维和三维数据的互补性，克服新领域中缺乏注解的问题。
CMDA框架如何实现夜间语义分割？
CMDA框架利用多模态信息，仅使用白天图像上的标签，通过设计图像动作提取器和内容提取器来弥合不同模态和领域之间的差距。
xMUDA方法的应用场景是什么？
xMUDA方法用于解决多模态数据下的无监督域适应问题，并通过自动驾驶数据集验证了其有效性。
ConDA方法如何减少噪音伪标签的影响？
ConDA方法通过构建源域和目标域的中间领域，并采用熵聚合器和抗锯齿正则化方法，有效减少了噪音伪标签对模型训练的负面影响。
