本文比较了机器人和传统腹腔镜手术中基于视觉的器械分割和追踪方法。研究发现，深度学习方法在器械分割任务中表现优异，但仍有改进空间。合并不同方法可以提高准确性。然而，在传统腹腔镜手术中，器械追踪仍然是一个待解决的挑战。

通过我们的方法，在低质量光流的困境下，从光流直接提取边界、选择性地丢弃质量较差的帧，并使用可变帧率的微调过程，我们在 EndoVis2017 VOS 数据集和 Endovis2017 Challenge 数据集上展现了有希望的结果，分别达到了 0.75 和 0.72 的平均交并比。我们的研究结果表明，我们的方法可以大大减少临床环境中手动标注的需求，并可能促进新数据集的注释过程。

这项研究设计了一个CNN-RNN架构和一个定制的训练-推理框架，用于解决腹腔镜手术行动识别中的挑战。通过使用堆叠的循环层和帧采样策略，实现了消除内容扭曲和动作识别中的变异的效果。实验证实该方法在动作识别方面优于静态CNN。

我们提出了一种新的弱监督手术器械实例分割方法，名为PWISeg。该方法使用基于FCN的架构，通过点到框和点到掩模分支建模特征点与边界框以及特征点与分割掩模之间的关系，联合完成手术器械的检测和分割任务。实验结果表明，PWISeg在手术器械分割任务上具有卓越性能。