CrossVideo: 点云视频理解的自监督跨模态对比学习
内容提要
该文综述了点云自监督与跨模态学习研究：CrossPoint通过点云与渲染图像对比实现可迁移三维表示；点云视频框架在点级对比并引入超点语义对齐与负样本选择策略；PointCMT利用视图图像促进点云分析，在ModelNet40等达最优；PointCMP以对比掩膜预测学习局部与全局信息；语言辅助方法借助大模型文本增强语义，在分割、检测、分类任务表现优异。
延伸解读
跨模态对比学习为何适合点云视频
点云视频同时包含空间几何与时间动态，标注成本高。CrossPoint 等工作利用点云与渲染图像的对应关系做自监督对比，无需人工标签即可学习可迁移表示。这种思路把二维图像的成熟特征引入三维，缓解了点云数据稀疏和标注稀缺的问题，为后续视频理解提供了预训练基础。
点级对比与超点对齐的互补作用
点云视频框架在点级别进行对比学习以捕捉细粒度语义，同时引入超点语义对齐预训练任务。点级对比关注局部细节，超点对齐则聚合局部区域形成更高层语义，两者结合有助于模型同时理解精细结构和整体对象。这种设计针对动态点云时间维度冗余问题，还通过负样本选择策略提升对比效率。
语言辅助带来的语义增强与局限
语言辅助方法借助大模型文本丰富点云语义概念，并通过统计显著特征选择去冗余、降维。在分割、检测、分类任务上取得优异表现，说明文本能为点云提供额外语义监督。但这类方法依赖文本质量与跨模态对齐效果，且文章未讨论推理成本或对特定数据集的泛化边界，实际应用需关注这些潜在限制。
Q&A
CrossPoint 是如何实现无需人工标注的三维点云表示学习的？
CrossPoint 通过跨模态对比学习，最大化点云与对应渲染的二维图像之间的一致性，从而在无人类标注的情况下学习可迁移的三维点云表示，并应用于三维物体分类和分割等任务。
点云视频自监督学习框架如何处理动态点云中的高冗余性问题？
该框架提出了一种负样本选择策略，保留适当的负样本，并利用其他实例中的高相似样本作为正样本的补充，以解决动态点云时间维度的高冗余性问题。
PointCMT 在哪些数据集上取得了最先进的性能？
PointCMT 在 ModelNet40 和 ScanObjectNN 等数据集上均实现了最先进的性能。
PointCMP 框架如何同时学习点云视频的局部和全局信息？
PointCMP 通过对比掩膜预测框架进行自监督学习，同时学习局部和全局信息，并利用互相相似的数据增强模块生成艰难的样本。
语言辅助的点云特征学习方法在哪些任务上表现优异？
该方法在三维语义分割、三维物体检测和三维场景分类任务中学习到了有意义的点云特征，并获得了最先进或可比较的性能。
CrossVideo 综述中提到的跨模态对比学习有哪些主要应用方向？
主要应用方向包括三维物体分类与分割、点云视频理解、文本到视频检索、时间动作定位以及视听表征学习等。
