少为佳：参数高效微调提升医学视觉基础模型
内容提要
本文综述参数高效微调（PEFT）在医学图像与临床任务中的应用。研究通过600余次实验比较16种PEFT方法，最高提升22%；FairTune优化公平性，PEFT-MedAware仅用0.44%参数提升医学问答准确率；RoSA逼近全精调性能，少样本图像分类中微调归一化参数效果最佳。
延伸解读
PEFT在医学图像中的实证效果
文章通过超过600次控制实验比较了16种PEFT方法，显示在某些医学图像分析任务中性能提升最高可达22%。这表明PEFT不仅能降低计算需求，还能在特定任务上带来显著增益。但提升幅度因任务而异，读者需注意其效果并非普遍一致，实际应用时应针对具体任务进行验证。
公平性优化的新思路
FairTune框架从双层优化角度出发，通过验证集公平性来指导PEFT参数选择，在医学图像数据集上提高了公平性。这提示在伦理敏感领域，微调策略需权衡任务适应与泛化公平性。但文章未说明公平性提升是否以牺牲整体性能为代价，实际部署时需进一步评估。
参数效率的极限探索
PEFT-MedAware仅用0.44%可训练参数优化Falcon-1b，在医学问答任务上超越其他语言模型；RoSA则通过联合训练低秩和稀疏组件逼近全精调性能。这些案例表明，极低参数预算下也能实现有竞争力的表现，但文章未提及这些方法在更大模型或更复杂任务上的可扩展性。
少样本分类的微调策略
针对少样本图像分类，研究发现仅微调层归一化参数及学习注意力矩阵缩放参数对Vision Transformer最有效；自监督ViT则适合学习缩放参数和Domain-residual adapter。这为资源有限场景提供了具体微调方向，但结论基于特定实验设置，迁移到其他架构时需重新评估。
Q&A
参数高效微调（PEFT）在医学图像分析中能带来多大的性能提升？
根据一项超过600个控制实验的研究，PEFT方法在某些情况下可实现高达22%的性能提升。
FairTune框架是如何提升医学图像诊断中的公平性的？
FairTune从双层优化角度出发，根据验证公平性优化PEFT参数选择，在更新更多参数以更好适应任务与更新更少参数以减少泛化差距之间进行权衡，从而在一系列医学图像数据集上提高公平性。
PEFT-MedAware模型在医学问答任务中表现如何？
PEFT-MedAware仅使用Falcon-1b大型语言模型0.44%的可训练参数，在16,407个医学问答对上优化，在资源有限环境下，其医学问答准确性胜过其他语言模型。
RoSA方法相比LoRA有什么优势？
RoSA通过联合训练低秩和高度稀疏的组件，在相同参数预算下，在小学数学和SQL查询生成等挑战性生成任务中，性能优于LoRA和纯稀疏调整，并能有效逼近全精调的性能。
在少样本图像分类中，哪种PEFT方法对Vision Transformer最有效？
研究发现，只微调层归一化参数及学习一组每个注意力矩阵的缩放参数的方法，是Vision Transformer预训练模型最强大的微调方法。对于自监督ViTs，仅学习每个注意力矩阵的缩放参数和一个Domain-residual adapter模块即可实现无与伦比的性能。
PEFT如何应用于Segment Anything Model（SAM）？
通过跨块协同和内部块增强机制，PEFT方法使SAM能适应各种新情景，仅使用约1K额外参数就显著提高了分割性能。Point-PEFT框架仅用5%的可训练参数就实现了优于完全微调的性能。
