SegSTRONG-C: 对非对抗性生成失真具有稳健性的手术工具分割 —— EndoVis'24 挑战
内容提要
本文介绍了一种针对医疗图像分割的对抗性数据增强方法，旨在提高神经网络在低数据情况下的泛化能力和鲁棒性。同时，研究了手术工具检测和图像污染对深度学习模型的影响，并提出了新的损坏仿真方法OmniCE，以增强模型在病理图像中的表现。
延伸解读
对抗性数据增强如何提升分割鲁棒性
文章提出一种对抗性数据增强方法，通过生成真实信号失真来模拟造影剂引起的偏差场强度不均匀性。该方法可作为插件模块用于有监督和半监督学习中的一般分割网络，在低数据情况下显著提高模型的泛化能力和鲁棒性。这为医疗图像分割在数据稀缺场景下提供了一种实用的增强策略。
手术工具检测中的类别不平衡与自训练
针对手术工具检测中嘈杂数据导致的类别不平衡问题，文章提出使用智能主动学习策略和基于学生教师模型的自训练框架，并设计训练数据加载器。实验表明，该方法比现有方法更有效。这提示在医疗工具检测任务中，结合主动学习与自训练可缓解数据不平衡带来的性能下降。
病理图像全栈损坏仿真与鲁棒性评估
文章分析病理生命周期中全栈损坏的物理原因，提出OmniCE全覆盖损坏仿真方法，可再现5个严重性级别的21种损坏。基于此构建了补丁级和幻灯片级的基准数据集，评估了流行深度神经网络在分类和分割任务中的鲁棒性。研究发现，使用OmniCE损坏数据作为增强可显著提升模型泛化能力。
不同视觉任务的损坏鲁棒性比较
文章综述了计算机视觉模型面临的常规污染问题，并介绍了多个鲁棒性基准：在飞行物体探测中，YOLO家族一阶段检测器表现更健壮，而Transformer和多阶段检测器对损坏敏感；在3D点云识别中，适当训练下基于Transformer的结构鲁棒性最强。这些发现有助于针对不同任务选择合适的主干网络。
Q&A
SegSTRONG-C方法如何提高神经网络的鲁棒性？
SegSTRONG-C方法通过生成真实信号失真来模拟强度不均匀性，从而显著提高了模型的泛化能力和鲁棒性。
OmniCE损坏仿真方法的主要功能是什么？
OmniCE损坏仿真方法用于再现多种图像损坏，以评估和增强深度神经网络在病理图像中的鲁棒性。
在手术工具检测中，如何解决类别不平衡问题？
通过使用智能主动学习策略和自训练框架，SegSTRONG-C方法有效解决了基于嘈杂数据的手术工具检测中的类别不平衡问题。
文章中提到的图像污染类型有哪些？
文章综述了多种图像污染类型，包括常规污染问题及其评估指标。
深度神经网络在3D点云数据上的应用有什么新发现？
研究发现，在适当的训练下，基于Transformer的结构在3D点云数据上具有最强的鲁棒性。
如何评估深度神经网络在受损病理图像上的表现？
通过建立易于使用的基准，评估深度神经网络在受损病理图像上的表现，发现显著的精度下降。
