MST：自适应多尺度令牌引导的交互式分割
内容提要
本文汇总多项计算机视觉研究：动态混合尺度Vision Transformer提升图像分类效率；交互式分割应用于医学、遥感及通用目标分割，并发布数据集与评估工具；将SAM与事件数据、点云集合Transformer结合；MTI-Net建模多尺度任务交互；基准测试显示SimpleClick在遥感分割中优于SAM，并开发RSISeg工具；另有token剪枝降低计算成本及MAS算法综述。
延伸解读
SAM在遥感分割中为何表现不佳
文章指出，在遥感图像交互式分割基准测试中，广受关注的SAM模型表现不佳，而SimpleClick基于点的方法在所有实验中始终优于其他方法。这提示读者，通用大模型在特定领域（如遥感）可能因数据分布差异而失效，实际应用中需针对领域数据微调或选择专用模型，而非盲目依赖通用模型。
交互式分割的评估与工具化
文章提到遥感领域开发了RSISeg在线工具，采用微调后的交互式模型并集成SAM，强调交互性、可修改性和适应性。同时，医学图像交互式分割综述指出方法间缺乏标准化比较，需通过标准化基线和基准解决。这提醒读者，评估交互式分割方法时需关注基准一致性，工具化有助于推动实际应用。
多尺度与令牌剪枝的效率权衡
文章汇总了动态混合尺度Vision Transformer通过条件门控选择最佳令牌规模提升分类效率，以及token剪枝方法在仅导致0.1% DeiT-S精度下降下显著降低计算成本。这些工作表明，多尺度处理和令牌筛选可在保持精度的同时优化计算，为资源受限场景提供参考，但具体收益需结合任务验证。
Q&A
动态混合尺度Vision Transformer是如何提升图像分类效率的？
它通过引入条件门控机制，智能选择每个图像区域的最佳令牌规模进行处理，从而在提高精度的同时提升效率。
在遥感图像交互式分割基准测试中，哪个模型表现最好？
SimpleClick模型表现最好，在所有实验中始终优于其他方法，包括SAM。
SAM在遥感图像分割中的表现如何？
令人惊讶的是，广为讨论的SAM在遥感图像中表现不佳，不如SimpleClick等基于点的方法。
RSISeg是什么？它有什么特点？
RSISeg是一个专用于遥感数据交互式分割的在线工具，采用性能良好的交互式模型并针对遥感数据微调，还集成了SAM模型。它具有较强的交互性、可修改性和适应性。
如何将SAM与事件数据结合以实现稳健的物体分割？
通过多尺度特征蒸馏方法，优化来自事件数据的令牌嵌入与其RGB图像对应物之间的对齐，从而保留和增强整体架构的稳健性。
MTI-Net架构如何实现多任务学习？
MTI-Net显式模拟每个尺度的任务交互，通过特征传播模块将提炼的任务信息从较低尺度传播到较高尺度，并通过特征聚合单元汇总所有尺度的任务特征以产生最终预测。
token剪枝方法对模型精度有什么影响？
实验表明，该方法可显著降低计算成本，同时仅导致0.1%的DeiT-S识别精度下降。
