本文介绍了一种基于深度学习的手术场景深度估计框架，结合自监督学习和深度估计器，提出了SurgicalSAM以改善机器人手术中的仪器分割。通过图学习和多模态信息，开发了新的视觉-运动学框架，提升了手术器械的分割精度。此外，介绍了GraSP数据集和TAPIS模型，验证了方法在手术程序理解中的有效性和鲁棒性。

本研究提出了多种改进的医学图像分割模型，如AdaptiveSAM和SAMSNeRF，旨在解决手术场景中的数据稀缺问题。通过结合Segment Anything Model（SAM）和Neural Radiance Field（NeRF），实现了高保真度的动态手术场景重建。SAM 2在不同手术视频中的零样本分割表现出色，显示了其在医学图像处理中的广泛适用性和快速适应能力。

本文介绍了一种名为Endo-4DGS的实时内窥镜动态重建技术，该技术基于高斯喷洒方法，能够在没有真实深度数据的情况下重建动态手术场景。通过结合时间组件和伪深度图生成，该方法显著提高了重建的准确性和效率，展示了在机器人辅助微创手术中的应用潜力。