ConKeD: 多视图对比描述符学习的基于关键点的视网膜图像配准
内容提要
该文综述了多项基于深度学习的关键点检测与图像配准研究，包括：SuperRetina实现端到端半监督论文匹配；ConvNet方法学习多分辨率局部描述符并构建新数据集；半监督框架利用多视图图像流训练关键点检测器；KeyMorph用关键点实现多模态脑MRI配准；以及3D CT-2D超声肾脏配准管道、基于ResNet的统一框架、自监督SEKD、三维深度图关键点检测、跨模态CMIGNet点云配准和多模态视网膜图像配准等，这些方法均优于现有方法。
延伸解读
从单模态到多模态：视网膜配准的技术演进
文章梳理的配准研究覆盖了自然图像、脑MRI、肾脏CT/超声、点云和视网膜图像等多种模态。其中视网膜部分结合了多模态图像配准、血红细胞介导的血管造影和OCT血管造影，并利用分割型深度学习框架与新颖评价度量，实现了毛细血管路径的2D血流测量和3D血管结构成像。这显示配准技术正从单一图像类型向跨模态、功能与结构融合的方向发展。
半监督与自监督：缓解关键点标注瓶颈
多项工作尝试减少对人工标注的依赖。SuperRetina以半监督方式联合训练关键点检测器和描述符；另一框架利用多视图图像流和视觉跟踪提供监督信号，在未标记数据上训练，并声称优于DeepLabCut等检测器；SEKD则采用自监督框架从自然图像学习局部特征。这些方法共同指向一个趋势：利用几何与跟踪等自监督信号替代昂贵的像素级标注。
关键点配准的跨领域验证与性能宣称
KeyMorph利用检测到的对应关键点获取变形，在多模态脑MRI的3D仿射和样条配准中展现出超越当前最先进方法的准确性。类似地，CMIGNet通过投影图像和跨模态特征融合实现点云配准，并在实验中表现出优越性能。这些跨领域结果说明关键点驱动的配准具有通用潜力，但文章中的性能比较均来自各方法自身的实验设置，读者需注意其评估条件和数据集差异。
Q&A
SuperRetina 是什么？它有什么特点？
SuperRetina 是一种端到端的论文匹配方法，是第一个具有可共同训练关键点检测器和描述符的方法，采用半监督状态进行训练，性能表现优秀。
有哪些基于深度学习的关键点检测方法被提及？
文中提到了 SuperRetina（端到端半监督关键点检测与描述）、半监督框架（利用多视图图像流训练关键点检测器）、SEKD（自监督学习局部特征）、以及基于端到端学习框架的三维深度图关键点检测方法。
KeyMorph 是如何进行图像配准的？
KeyMorph 是一种基于深度学习的图像配准框架，利用检测到的对应关键点获取最佳变形，在多模式脑 MRI 扫描的 3D 仿射和样条配准中展现出超越当前最先进方法的准确性。
CMIGNet 用于什么任务？它采用了哪些技术？
CMIGNet 用于点云配准，通过投影图像和交叉模态特征融合，采用两种对比学习策略，并提出了一个遮罩预测模块以识别点云中的关键点，实验证明其具有优越的配准性能。
多模态视网膜图像配准在文中是如何描述的？
文中提到通过多模态视网膜图像配准、血红细胞介导的血管造影以及光学相干断层扫描血管造影相结合，利用段分割型深度学习框架以及新颖的评价度量，实现了测量毛细血管路径 2D retinal blood flow 并提供 3D 血管结构图像，解决了不同血管密度的挑战。
半监督学习框架如何利用多视图图像流训练关键点检测器？
该框架利用多视图几何和视觉跟踪的互补关系提供三种监督信号，使用未标记的数据训练网络，证明其优于 DeepLabCut 等现有的关键点检测器，特别适用于猴、狗、老鼠等非人类物种的关键点检测。
