无CAD的现实世界手术仪器三维跟踪系统SurgTrack
内容提要
本文探讨了深度学习在手术工具姿态估计、分割和追踪中的应用。研究表明，现代深度学习方法在器械分割任务中表现优异，结合不同方法可显著提高准确性。提出的轻量级模型和新技术在实时跟踪和分割中取得了良好效果，展示了无标记跟踪的可行性，满足了外科视频工具跟踪的需求。
延伸解读
技术演进：从分割到无标记跟踪
文章梳理了手术器械视觉分析的发展脉络：早期研究将2D姿态估计重构为热力图回归，并与分割任务联合进行；随后研究转向轻量级单阶段实例分割模型，实现实时跟踪；近期则出现基于神经场的方法，可同时追踪工具和解剖结构，并生成伪深度图像。这一演进显示，无标记跟踪正从2D分割向3D重建扩展，但传统腹腔镜下的器械追踪仍是待解决的挑战。
数据集与评估：推动技术落地的关键
文章提及多个公开数据集和挑战赛，如Retinal Microsurgery、MICCAI EndoVis Challenge 2015、ROBUST-MIS和CholecTrack20。其中CholecTrack20专为内窥镜手术设计，支持多类多工具、多视角的轨迹跟踪，并标注了工具可见性。这些资源为方法比较提供了基准，但文章也指出，现有方法在传统腹腔镜追踪任务中表现仍不完美，合并不同方法可提高准确性，暗示单一模型存在局限。
轻量化与实时性：临床应用的现实考量
文章强调实时推理能力，例如轻量级SAM变体在单块RTX 4060 GPU上以超过25 FPS运行，SurgiTrack也具备实时推理能力。这表明研究正关注临床部署的可行性，但轻量化可能以牺牲部分精度为代价。此外，高保真非标记光学跟踪系统虽展示了无标记跟踪的可行性，但其多视角相机布置和数据融合技术可能增加系统复杂度，实际手术场景中的鲁棒性仍需验证。
Q&A
深度学习如何提高手术工具的姿态估计和分割性能？
深度学习通过将2D手术工具姿态估计重构为热力图回归，并与分割同时进行，显著提高了性能。
什么是CholecTrack20数据集，它的用途是什么？
CholecTrack20数据集是为内窥镜手术精心注释的，支持多类多工具的跟踪，满足外科视频中工具跟踪的需求。
SurgiTrack系统的主要功能是什么？
SurgiTrack系统利用YOLOv7进行精确工具检测，提供适应性和精确性的微创手术辅助。
轻量级模型在手术工具追踪中有什么优势？
轻量级模型通过数据增强和最优锚定策略实现实时跟踪和分割，具有较高的准确性和推理速度。
如何实现手术器械的无标记跟踪？
通过高保真度的非标记光学跟踪系统，结合深度学习和数据融合技术，实现手术器械的无标记跟踪。
神经场方法在腹腔镜视频追踪中的应用效果如何？
神经场方法能够同时追踪手术工具和解剖结构，具有较高的追踪精度，并能生成伪深度图像。
