跨时空的朋友：多尺度行动分割变压器用于手术阶段识别
内容提要
本文综述手术阶段识别方法：ARST采用自回归变压器建模阶段相关性，在Cholec80上达到66帧/秒；STAR-Net结合多尺度时态行动与序列正则化；MS-TCN使用层次化时间卷积；SF-TMN融合帧级与片段级时间建模；MTMS-TCN联合识别阶段与步骤；此外还有ConvTransformer、STAR-transformer、扩张卷积分段、PSI-AVA数据集与TAPIR模型、LoViT长视频变压器等，均在相关数据集上优于现有方法。
延伸解读
实时性突破：ARST的66帧/秒推断
ARST在Cholec80数据集上实现了每秒66帧的推断速率，这为手术阶段实时识别提供了可能。其自回归结构通过条件概率分布隐式建模阶段间相关性，并采用一致性约束推断策略减少偏差。这一速度优势意味着模型有望在手术过程中提供即时反馈，但需注意其性能仅在特定数据集上验证，实际部署时需考虑硬件和场景差异。
多粒度联合识别：MTMS-TCN的阶段与步骤协同
MTMS-TCN联合识别手术阶段和步骤两个互补粒度，在Bypass40数据组上相比单任务方法，准确度、精确度和召回率均提升约1-2%。这种多任务设计利用了阶段与步骤之间的关联，提高了识别精确性和召回率。但提升幅度有限，且仅在特定手术类型上验证，跨手术类型的泛化能力仍需进一步研究。
长视频处理：LoViT的两阶段融合策略
LoViT采用两阶段方法融合短期和长期时间信息，通过多尺度时间聚合器结合局部与全局特征，以处理手术过程中的长视频。在两个手术视频数据集上，LoViT表现最优。这表明针对长视频的专门设计能有效提升阶段分类性能，但文章未提及计算开销，实际应用中需权衡精度与效率。
数据集与框架：PSI-AVA与TAPIR的综合场景理解
PSI-AVA数据集和TAPIR模型提供了一个综合外科场景理解的实验框架，强调多级注释的好处，并在公共数据库上展示了优越性。这提示手术阶段识别正从单一任务向多级、综合理解发展，但该框架的复杂性和对注释的依赖可能限制其广泛应用，读者需关注其实际部署的可行性。
Q&A
ARST模型在手术阶段识别中有什么特点？
ARST是一种自回归手术变压器，通过条件概率分布隐式建模阶段间相关性，并采用一致性约束推断策略减少推断偏差和增强阶段一致性。在Cholec80数据集上，其定量和定性均优于现有最先进方法，推断速率达每秒66帧。
STAR-Net如何提升手术阶段识别的准确性？
STAR-Net通过多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR）来有效利用手术行动的视觉特征，从而更准确地识别手术阶段，并在手术阶段识别方面取得卓越性能。
MS-TCN网络在手术阶段识别中有什么特点？
MS-TCN是一种多级时间卷积网络，具有层次化预测细化和因果扩张卷积的特点，经过多组数据集评估，并在胆囊手术视频中得到成功应用。
SF-TMN模型在手术阶段识别中取得了什么成果？
SF-TMN是一种SlowFast时间建模网络，实现了帧级和片段级的全视频时间建模。在Cholec80手术阶段识别任务中达到最先进性能，并在50salads、GTEA和Breakfast行动分割数据集上也达到最先进性能。
MTMS-TCN相比单任务方法有哪些优势？
MTMS-TCN是一种多任务多阶段时间卷积网络，联合识别手术活动的阶段和步骤两个互补粒度。在Bypass40数据组上实验表明，相比单任务方法，其在阶段识别和步骤识别的准确度、精确度和召回率上均有1-2%左右的提升，且步骤识别性能优于LSTM模型。
LoViT模型如何处理长手术视频？
LoViT是一种长视频变压器，采用两阶段方法融合短期和长期时间信息，通过多尺度时间聚合器结合本地和全局特征对手术相位进行分类，能比当前方法更好地处理手术过程中的长视频，在两个手术视频数据集上表现最优。
