内窥镜凿子：术中成像雕刻 3D 解剖模型
内容提要
该文综述内窥镜三维重建与手术导航研究：自监督定位重建与CT高度一致，但点对点配准误差达6.58毫米，姿态与深度估计各占一半。多项工作提出深度估计、光流、风格转换及密封先验等方法，提升重建鲁棒性与精度，并探索增强现实导航临床应用。
延伸解读
重建精度与配准误差的差距
文章指出，自监督内窥镜重建与CT分割的平均点对网格误差仅为0.91毫米，表明重建结果与解剖结构高度一致。然而，在点对点匹配场景中，平均目标注册误差高达6.58毫米，且姿态与深度估计的不准确性各贡献一半。这一差距说明，高精度的表面重建并不等同于高精度的术中导航配准，后者对姿态和深度的全局一致性要求更高。
提升配准精度的技术方向
为降低配准误差，文章提及多项研究：基于表面感知约束的深度估计将相机参数纳入训练以增加控制；双目内窥镜结合光流与自适应像素权重提升姿态估计鲁棒性；利用几何一致性损失和梯度损失改善单目深度估计。这些方法共同指向一个目标：实现相对相机姿态和估计深度与解剖学的全局一致性，从而推动临床应用。
特殊场景下的重建策略
针对胃部整体三维重建，文章介绍了一种无需蓝靛胭脂喷洒的方法，通过图像风格转换生成虚拟喷洒图像，提高结构运动法的表面纹理匹配，其中将绿色通道转换为红色通道效果最佳。此外，基于内腔密封先验和光照衰减模型的方法，首次实现整个结肠部分的密封重建，为癌症筛查的自动质量评估和黏膜观察百分比测量提供了可能。
临床导航与未来挑战
文章提到增强现实在腔镜肝切除和椎弓根螺丝置入等手术中的导航应用，涉及2D/3D标志物检测和3D-2D配准任务，初步实验表明可满足临床精度要求。但姿态估计问题仍是待解决的研究方向，且现有方法在挑战性手术场景中的鲁棒性仍需验证。未来需进一步整合深度估计、光流和配准技术，以提升导航系统的整体可靠性。
Q&A
内窥镜三维重建的精度如何？与CT相比误差多大？
自监督方法生成的重建与解剖结构高度一致，重建与CT分割间的平均点对网格误差为0.91毫米。但在点对点匹配场景中，平均目标注册误差为6.58毫米。
内窥镜跟踪和导航中的配准误差主要来自哪里？
姿态与深度估计的不准确性对配准误差贡献相等，各占一半。具有更短轨迹的局部一致性序列生成更准确的重建。
如何提高内窥镜三维重建的鲁棒性和精度？
实现相对相机姿态和估计深度与解剖学的全局一致性至关重要。多项工作提出深度估计、光流、风格转换及密封先验等方法，提升重建鲁棒性与精度。
内窥镜三维重建在临床上有哪些应用？
探索增强现实导航临床应用，如腔镜肝切除手术中投影肿瘤和血管，以及手术导航、注册任务、椎弓根螺丝置入等。
单目内窥镜三维重建有哪些创新方法？
基于内腔密封先验和照明衰减模型，修改NeuS架构，引入光度模型，实现密封重建，在幻影影像上展示出色准确性。
内窥镜深度估计有哪些最新进展？
提出基于表面感知性约束的深度估计方法，整合去除高光模块；基于双目内窥镜深度估计和光流的深度声明网络，优化相机姿态估计；利用几何一致性损失和梯度损失提高重建效果。
