LUM-ViT：适用于带宽有限的光信号采集的可学习欠采样掩膜视觉变换器
内容提要
该文综述视觉Transformer的多项改进研究，涵盖小波变换、轻量化设计、分层结构、二值化压缩及医学图像应用，旨在提升图像识别、检测与分割任务的效率与精度。
延伸解读
视觉Transformer的多样化改进路径
文章综述了多种视觉Transformer的改进研究，包括小波变换、轻量化设计、分层结构、二值化压缩及医学图像应用。这些工作分别针对多尺度处理、计算效率、模型压缩和领域适配等不同问题，反映了该领域在提升效率与精度方面的多元探索。
效率与精度的平衡策略
为降低计算需求，研究者提出了LF-ViT的定位聚焦机制、LightViT的轻量化聚合以及HiViT的分层设计。这些方法在保持或提升精度的同时，显著减少了计算量，例如HiViT-B在ImageNet-1K上比ViT-B准确率提高0.6%且比Swin-B快1.9倍。
模型压缩与二值化进展
针对资源受限场景，二值化方法如BinaryViT通过梯度正则化和激活偏移模块缓解性能下降，而量化压缩方法结合信息矫正和蒸馏在ImageNet上达到80.9%的准确率，甚至超过全精度模型1.0%的Top-1精度，展示了压缩技术的潜力。
医学图像领域的专门优化
在医学图像处理中，LT-ViT和自监督空间自适应卷积模型提升了胸部X光分类和分割的性能与标签效率。LT-ViT在公开CXR数据集上达到最先进水平，且不依赖模型初始化，并具备可解释性，无需grad-cam等工具。
Q&A
LUM-ViT 是什么？它主要解决什么问题？
LUM-ViT 是一种可学习欠采样掩膜视觉变换器，适用于带宽有限的光信号采集。它通过可学习的欠采样掩膜来减少数据采集量，从而在带宽受限条件下实现高效的光信号采集与处理。
视觉 Transformer 有哪些轻量化设计方法？
文章提到了 LightViT 等轻量化设计，通过全局有效聚合策略结合注意力机制和多维度的通道/空间注意力机制来捕捉全局依赖信息，从而在图像分类、目标检测和语义分割任务中实现更好的准确性和效率平衡。
如何压缩视觉 Transformer 以减少计算和存储需求？
文章介绍了多种压缩方法：量化视觉 Transformer 压缩方法（基于信息矫正模块和分布引导蒸馏方案）在 ImageNet 上达到 80.9% 的准确率；二值化方法（包括对 softmax attention 的优化、Cross-layer Binarization 和可学习的通道缩放因子）在 TinyImageNet 和 ImageNet 上取得最佳效果；BinaryViT 通过梯度正则化方案和激活偏移模块解决全量二值化的性能降低和信息失真问题。
视觉 Transformer 在医学图像分析中有哪些应用？
文章提到：通过自监督学习和空间自适应卷积技术构建的通用医学图像处理模型，可高效处理各种医学图像数据，在分类和分割任务上表现出更好的性能和标签效率；LT-ViT 用于胸部 X 光图像分析，从多个尺度聚合信息，在两个公开 CXR 数据集上达到最先进性能，且具有泛化性和可解释性。
有哪些改进视觉 Transformer 分层结构的研究？
文章介绍了 HiViT，一种分层视觉转换器设计，在 MIM 中高效且性能良好。它通过关闭 Swin Transformer 的局部对单元操作并显示层次结构，将蒙版单元序列化为普通视觉变换器。在 ImageNet-1K 上运行 MAE，HiViT-B 比 ViT-B 准确率提高 0.6%，比 Swin-B 快 1.9 倍，且泛化到检测和分割等下游任务。
小波变换在视觉 Transformer 中有什么作用？
文章提到 Wavelet Vision Transformer 使用小波变换实现可逆下采样，同时结合局部上下文信息提高自注意力计算结果，从而处理多尺度视觉问题，在图像识别等多种任务上表现优异。
