基于原始几何分割的三维医学图像分割预训练
内容提要
本文综述了多项利用几何先验的三维视觉研究：零样本点云语义分割框架借助几何基元实现类别间知识迁移，在S3DIS、ScanNet、SemanticKITTI上提升hIoU；主动学习利用几何先验简化三维体数据标注；此外还有基于预训练2D模型的单点提示3D医学分割、半监督形状估计和自监督预训练等方法，均在分割、检测等任务上提升了性能与效率。
延伸解读
几何先验在三维分割中的多重角色
文章汇总的研究显示，几何先验并非单一技术，而是以不同形式嵌入三维分割流程：零样本点云分割用几何基元做类别间知识迁移；主动学习用几何先验挑选位于二维平面贴片上的体素以降低标注难度；医学图像相似性学习则将拓扑不变性作为约束。这些例子说明几何信息既能辅助标注、又能校准表示，但各自任务和数据集不同，效果不能直接横向比较。
自监督预训练是贯穿多篇工作的主线
从Volume Fusion到三维版自监督方法，再到可用于3D数据的简单预训练策略，多篇研究都试图减少对人工标注的依赖。Volume Fusion通过融合前景与背景子卷构造预训练任务；另一项工作将五种自监督方法扩展到三维。文章称这些方法在分割、检测和分类上表现提升，但未给出统一基准下的对比数字，读者需注意各研究评估条件不同。
医学场景更关注标注成本与边界精度
在医学图像部分，基于预训练2D模型的单点提示分割引入轻量适配器提取深度相关空间上下文，以改善边界；半监督形状估计则用多任务网络同时预测分割和有符号距离图。这些设计指向两个现实痛点：三维体数据标注昂贵，以及肿瘤等结构对边界敏感。不过文章仅提及在结肠和胰腺肿瘤等任务上表现优越，未展开数据规模与泛化性验证。
Q&A
零样本点云语义分割中如何利用几何基元进行类别间的知识迁移？
该框架利用几何基元在训练期间进行类别之间的知识转移，并使用未知感知信息熵来校准视觉与语义表示，从而在S3DIS、ScanNet和SemanticKITTI数据集上显著提升了hIoU指标。
在三维医学图像标注中，如何利用几何先验减少标注工作量？
通过主动学习方法，利用几何先验知识选择最需要注释的体素，并保证它们位于二维平面贴片上，从而比随机分布体素更容易进行注释，在电子显微镜和磁共振成像体积上评估显示性能显著提高。
基于预训练2D模型的单点提示如何用于3D医学图像分割？
该策略使用预训练2D图像模型，通过单点提示进行3D医学图像分割，并引入轻量级适配器来提取深度相关的空间上下文，以实现准确的边界，在结肠和胰腺肿瘤分割上表现卓越。
半监督学习如何提升医学图像分割中的形状估计性能？
采用多任务深度网络同时预测语义分割和物体表面有符号距离图，并通过敌对损失有效地捕捉形态感知特征，从而提高形状估计性能。
Volume Fusion自监督学习策略如何预训练3D CT体数据的分割模型？
Volume Fusion结合多个随机补丁，采用预定义的融合系数融合前景子卷和背景子卷，无需手动注释即可预训练3D CT体数据的分割模型，结果表明优于其他自监督训练和分割模型方法。
如何利用几何约束学习视角不变、几何感知的表示并迁移到2D任务？
通过对RGB-D数据进行对比度学习，利用几何约束学习视角不变、几何感知的表达，实现从3D先验信息到2D表达的迁移，并在语义分割、实例分割和室内物体检测中取得显著提升。
