MuST：用于外科手术阶段识别的多尺度变压器
内容提要
本文介绍了多种手术阶段识别的先进技术，包括多尺度动作分割变换器（MS-AST）、自回归手术变压器（ARST）和多级时间卷积网络（MS-TCN）。这些方法在Cholec80数据集上实现了高达96.15%的识别准确率，显著提升了手术过程的自动化和分析能力。
延伸解读
多尺度建模成为手术阶段识别的主流思路
文章汇总的MS-AST、MS-ASCT、MS-TCN、STAR-Net、LoViT、SF-TMN等方法，均强调在不同时间尺度上建模手术视频信息。这表明单一尺度难以兼顾动作细节与阶段全局上下文，多尺度融合已成为提升识别准确率的关键技术路线。
在线与离线场景的精度差异值得关注
MS-AST和MS-ASCT在Cholec80上分别达到95.26%和96.15%的准确率，对应在线和离线识别。离线场景可获取完整视频，精度通常更高；在线场景需实时推断，对模型效率要求更严。ARST实现每秒66帧的推断速率，说明实时性也是重要指标。
视频基分类器优于图片基分类器
文章指出，在手术阶段识别任务中，视频基分类器比基于图片的分类器效果更好。这提示读者，手术阶段本质上是时序过程，仅依赖单帧图像会丢失动作演变信息，引入时间维度建模能更准确判断当前阶段。
方法演进呈现从卷积到Transformer的迁移
从2020年的MS-TCN到2022年的ARST，再到2023—2024年的LoViT、SF-TMN等，手术阶段识别方法逐步从时间卷积转向Transformer架构。这一趋势与视频理解领域整体发展一致，但文章也显示不同方法在Cholec80等数据集上持续刷新性能。
Q&A
什么是多尺度动作分割变换器（MS-AST）？
多尺度动作分割变换器（MS-AST）是一种用于手术阶段识别的技术，利用空间和时间信息，在不同尺度上建模时间信息。
ARST自回归手术变压器的主要特点是什么？
ARST通过条件概率分布建模阶段间相关性，采用一致性约束推断策略，推断速率达到每秒66帧。
在Cholec80数据集上，MS-AST和MS-ASCT的识别准确率分别是多少？
MS-AST和MS-ASCT在Cholec80数据集上的识别准确率分别为95.26%和96.15%。
视频基分类器在手术阶段识别中有什么优势？
视频基分类器相比于基于图片的分类器，提供了更高的识别效果。
多级时间卷积网络（MS-TCN）在手术阶段识别中有什么应用？
多级时间卷积网络（MS-TCN）具有层次化预测细化和因果扩张卷积的特点，成功应用于胆囊手术视频。
SlowFast时间建模网络（SF-TMN）在手术阶段识别任务中的表现如何？
SF-TMN在Cholec80手术阶段识别任务中实现了最先进的性能表现。
