无处不在的预训练：通过目标参数预训练实现医学图像分析的参数高效微调
内容提要
本文分析了参数效率微调（PEFT）在少样本医学图像分类中的应用，发现仅微调注意力矩阵的缩放参数和引入Domain-residual adapter模块可显著提升性能。研究表明，PEFT方法在医学图像分析中具有实际应用价值，能够在减少计算开销的同时提高模型性能。
延伸解读
PEFT在医学图像分析中的实证支持
文章汇总了多项研究，通过大量控制实验验证了PEFT在医学图像分析中的有效性。例如，仅微调层归一化参数和注意力缩放参数就能提升Vision Transformer性能；在胸部放射学基础模型上，PEFT以不到1%的可调参数在18个迁移任务中超越完全微调，并在NIH ChestX-ray14上达到80.6% AUROC。这些结果说明PEFT能显著降低计算开销，同时保持甚至提升模型表现。
方法创新：从DRA到EPT
文章介绍了多种PEFT创新方法。Domain-residual adapter（DRA）模块与注意力缩放参数结合，在自监督ViT上实现优越性能；动态视觉提示调整（DVPT）能适应多样医学图像输入；嵌入式提示微调（EPT）通过将提示符嵌入扩展通道，缓解提示引入和Transformer逼近能力的限制。这些方法在少样本分类任务中表现突出，为医学图像分析提供了新思路。
自监督学习中的微调策略
针对自监督医学影像分析，文章指出中间层微调对对比型自监督学习更有效，而第三个季度的微调对修复型更有效。最佳策略通过微调网络前三个季度，相对端到端微调提升了5.48%的性能。此外，利用多个自监督模型的互补优势，比独立使用最佳模型提高了3.57%的性能。这表明合理的微调策略能显著增强自监督模型的迁移能力。
提示微调作为分布校准器
文章提出一个新视角：提示微调是一种分布校准器。研究发现基础模型在预训练过程中的特征空间分布存在异常，而提示微调可以帮助缓解这一负面影响。通过分析EPT中的基于补丁的缩放和特征分离操作，支持了这一观点。这为理解提示微调为何有效提供了理论解释，并指导未来设计更有效的PEFT方法。
Q&A
什么是参数效率微调（PEFT）？
参数效率微调（PEFT）是一种通过最小化参数修改来提高模型性能的方法，旨在减少计算开销并适应新领域。
PEFT在医学图像分析中的优势是什么？
PEFT在医学图像分析中能够在减少计算开销的同时显著提高模型性能，尤其在少样本分类任务中表现优越。
如何通过PEFT提升医学图像分类的性能？
通过微调层归一化参数和注意力矩阵的缩放参数，以及引入Domain-residual adapter模块，可以显著提升医学图像分类性能。
PEFT与完全参数微调相比有什么不同？
PEFT在少于1%的可调参数下，能够在多个任务中超越完全参数微调的方法，减少了计算和存储需求。
什么是嵌入式提示微调（EPT）？
嵌入式提示微调（EPT）是一种通过将提示符嵌入扩展通道来提高少样本医学图像分类性能的微调方法。
PEFT在胸部放射学中的应用效果如何？
PEFT在胸部放射学基础模型上表现出优越性，能够在少于1%的可调参数下获得80.6%的AUROC分数。
