基于视觉的神经外科导航:无监督定位和相机姿态预测

💡 原文中文,约1100字,阅读约需3分钟。
📝

内容提要

该研究提出了多种基于内窥镜的深度估计方法,如双目内窥镜深度声明网络和自监督卷积神经网络,旨在提高手术视频中工具定位和深度估计的准确性,推动微创外科技术的发展。

🎯

关键要点

  • 该研究提出了一种基于双目内窥镜深度估计和光流的深度声明网络,优化相机姿态估计。
  • 通过Weakly Supervised Yolo Network (WS-YOLO)生成手术工具在内窥镜视频中的定位信息,减少人工注释工作量。
  • 提出了一种基于单目内窥镜数据的自监督卷积神经网络训练方法,无需解剖学或阴影的先验建模。
  • 利用自我监督和最少数据标签的方法,精准检测手术视频中的躯体外视频帧,达到了96.00-98.02的平均F1分数。
  • 结合卷积神经网络和基于注意力机制的图神经网络,处理内窥镜图像中的特征匹配和对应关系问题。
  • 提出了一种新方法,利用标记的合成数据和未标记的真实数据,实现对结肠镜序列的准确深度图预测。
  • 介绍了在内窥镜图像中利用光度线索提高单目深度估计的方法,结合自监督和监督训练。
  • 提出了一种仅利用支气管镜视屏数据实现导航引导的方法,能够在无需电磁跟踪和CT扫描的情况下进行视觉引导。
  • 使用神经场方法进行腹腔镜视频追踪,能够同时追踪手术工具和解剖结构,生成高质量的伪深度图像。

延伸问答

该研究提出了哪些深度估计方法?

该研究提出了基于双目内窥镜的深度声明网络和自监督卷积神经网络等多种方法。

如何减少手术工具定位的人工注释工作量?

通过Weakly Supervised Yolo Network (WS-YOLO)生成手术工具在内窥镜视频中的定位信息,减少人工注释工作量。

自监督卷积神经网络的训练方法有什么特点?

该方法基于单目内窥镜数据训练,无需解剖学或阴影的先验建模。

该研究如何提高单目深度估计的准确性?

通过结合自我监督和监督训练的方法,利用光度线索提高单目深度估计的准确性。

该研究在内窥镜图像中使用了哪些技术?

研究结合了卷积神经网络和基于注意力机制的图神经网络,处理特征匹配和对应关系问题。

如何实现对支气管镜操作的视觉引导?

通过仅利用支气管镜视屏数据,采用CNN进行气道分割和HMM模型进行定位,实现视觉引导。

➡️

继续阅读