DD-VNB: 一种基于深度的实时视觉导航支气管镜的双环框架
内容提要
该文综述内窥镜单目深度估计与视觉里程计进展，涵盖无监督学习、几何一致性损失、双目姿态估计及BEVDepth三维检测等方法，重点介绍Endo-4DGS利用4D高斯飞溅与伪深度图实现实时动态手术场景重建，无需真实深度数据，并验证其高效性与准确性。
延伸解读
无监督深度估计在内窥镜中的进展
文章回顾了多项无监督单目内窥镜深度估计研究，这些方法无需真实深度数据，利用几何一致性损失和梯度损失提升重建效果。例如，2018年提出的自监督方法无需先验解剖模型，2023年的方法使用合成RGB-D数据集处理反射和照明变化。这些进展降低了数据采集成本，但合成数据与真实场景的域差异仍是挑战。
视觉里程计与SLAM的鲁棒性提升
针对内窥镜手术场景，研究结合几何方法与深度学习进行视觉里程计，如2019年的双目深度估计和光流网络，通过自适应像素权重平衡损失，提升相机姿态估计鲁棒性。这些方法有助于推进微创外科中的SLAM和3D重建，但实时性和精度仍需在复杂组织形变下进一步验证。
Endo-4DGS：实时动态场景重建的突破
Endo-4DGS利用4D高斯飞溅和伪深度图实现实时动态手术场景重建，无需真实深度数据。通过轻量级MLP捕捉时间高斯变形，并整合Depth-Anything生成伪深度，在手术数据集上验证了实时渲染、高效计算和重建准确性。这为手术辅助提供了新可能，但泛化到不同手术类型仍需更多验证。
Q&A
内窥镜单目深度估计有哪些无监督学习方法？
文章提到一种无监督的自我监督方法，用于训练卷积神经网络从单目内窥镜数据中密集地估计深度，无需先验建模解剖或着色。此外，还有利用视图合成作为监督信号，同时训练深度和相机位姿估计网络的方法。
Endo-4DGS 是如何实现实时动态手术场景重建的？
Endo-4DGS 使用 4D 高斯飞溅，无需地面真实深度数据。它通过引入时间组件，借助轻量级 MLP 捕捉时间高斯变形，并整合 Depth-Anything 从单目视图中生成伪深度图，从而增强深度引导重建过程。
BEVDepth 在三维目标检测中取得了什么成果？
BEVDepth 通过使用显式深度监督、镜头感知深度估计模块、深度细化模块以及定制的高效八叉树池化和多帧机制，实现了 60.9% 的 NDS。这是相机模型首次达到 60% 以上的 NDS 得分。
如何在不使用电磁跟踪和 CT 扫描的情况下实现支气管镜导航？
文章提出一种仅利用支气管镜视频数据的方法，通过 CNN 对气道分割进行单帧分类，并采用基于状态转移的 HMM 模型应用解剖学约束和时间上下文信息对支气管树进行定位，从而在无需电磁跟踪和 CT 扫描的情况下实现视觉引导。
双目内窥镜深度估计如何提高相机姿态估计的鲁棒性？
该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络，通过减小两个几何损失优化相机姿态估计，并引入两个自适应的像素权重映射来平衡贡献，从而在挑战性的内窥镜手术场景中实现更鲁棒的相机姿态估计。
单目视觉里程计有哪些基于深度学习的改进方法？
文章提到多种方法：结合几何方法和深度学习的单目视觉里程计算法，利用两个 CNN 进行深度和光流估计；基于深度端到端网络的长期六自由度视觉里程法，融合相对网络和全局网络；以及基于深度循环卷积神经网络（RCNNs）的端到端框架，直接从原始 RGB 图像序列推断姿态。
