本文综述手术机器人视觉领域多项研究：提出PSI-AVA数据集与TAPIR模型的综合场景理解框架；介绍内窥镜视觉挑战赛中基于深度网络的器械分割方案；利用EndoVis等公开数据集推动器械、类型及器官分割；设计CNN-RNN架构应对腹腔镜动作识别中的烟雾、遮挡等干扰；提出基于对象交互的手术活动识别方法；利用器械安装数据作弱标签实现跟踪定位；综述纯视觉手术工具分割与跟踪方法；提出轻量级实例分割模型实现实时跟踪；并利用多模态与Transformer进行手术姿势分割和手势识别。