本文介绍了一种基于深度学习的手术场景深度估计框架，结合自监督学习和深度估计器，提出了SurgicalSAM以改善机器人手术中的仪器分割。通过图学习和多模态信息，开发了新的视觉-运动学框架，提升了手术器械的分割精度。此外，介绍了GraSP数据集和TAPIS模型，验证了方法在手术程序理解中的有效性和鲁棒性。