PromptSmooth: 通过提示学习认证医疗视觉语言模型的稳健性
内容提要
本文研究了预训练视觉语言模型在医学图像中的应用，强调医学提示语设计的重要性。通过自动生成医学提示和多尺度特征集成，显著提升了模型的识别性能和鲁棒性。此外，提出了对抗提示调优和混合视觉提示等新方法，增强了模型在复杂病理诊断中的表现，减少了假阴性预测。
延伸解读
医学提示设计：从通用到专业
文章指出，合理设计的医学提示语是调用预训练视觉语言模型知识的关键。通过自动生成医学提示，可以将专家级医学知识和图像特定信息注入提示语，实现细粒度信息定位。实验表明，与默认提示相比，巧妙设计的医学提示显著提高了零样本性能，且微调模型超过了受监督的模型。这提示我们，在医学图像分析中，提示工程需要领域知识的深度参与，而非简单套用通用模板。
鲁棒性提升：多尺度特征与对抗调优
针对分布偏移和对抗攻击，文章提出了多尺度图像特征集成和对抗提示调优（APT）等方法。多尺度特征集成提高了模型在分布偏移下的鲁棒性和性能；APT通过向提示中添加一个学习到的单词，在epsilon=4/255时平均提高准确性和鲁棒性13%和8.5%。这些方法表明，结合图像多尺度信息和轻量级提示调整，能有效增强模型在复杂医学场景中的稳定性。
低资源与噪声环境下的提示学习
在低资源情况下，弱监督提示学习方法MedPrompt能自动生成医学提示，提升医学图像识别的性能和准确率。同时，研究发现提示调整过程对标签噪声非常稳健。此外，修正对抗噪声（RAN）框架能有效防御对抗攻击并矫正上游噪声的影响。这些工作为医学图像分析在数据有限或噪声环境下的应用提供了实用方案，降低了高质量标注数据的依赖。
评估基准与安全关键应用
文章开源了MedMNIST-C基准数据集，涵盖12个数据集和9种成像模式，模拟不同严重程度的图像损坏，用于评估算法对真实世界工件和分布偏移的鲁棒性。研究还通过改写问题和建议对抗性扰动，提升了模型抵御Auto-PGD等攻击的能力。这些贡献强调了在安全关键环境中部署医学视觉语言模型时，鲁棒性评估和提示格式设计的重要性。
Q&A
医学提示语的设计对预训练模型有什么影响？
合理设计的医学提示语是调用预训练模型知识的关键，能够显著提高模型的识别性能和鲁棒性。
如何通过自动生成医学提示提升模型性能？
通过自动生成医学提示，可以将专家级的医学知识和图像特定信息注入提示语中，从而显著提高零样本性能。
什么是对抗提示调优（APT），它的作用是什么？
对抗提示调优（APT）通过向提示中添加学习到的单词，显著提高模型的准确性和鲁棒性。
MedPrompt方法在低资源情况下如何提升医学图像识别？
MedPrompt通过弱监督的提示学习方法，自动生成医学提示，从而在低资源情况下提升医学图像识别的性能和准确率。
修正对抗噪声（RAN）框架的主要功能是什么？
修正对抗噪声（RAN）框架有效防御对抗攻击，并矫正上游噪声的影响，增强模型的鲁棒性。
新提出的提示策略如何改善复杂病理诊断的表现？
新提出的两种提示策略显著提升了医学大规模视觉语言模型在复杂病理诊断中的表现，减少了假阴性预测。
