BriefGPT - AI 论文速递
·
视觉语言模型的部分再集中软最大值损失函数鲁棒性
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
通过修改预训练模型的损失函数，限制前K个softmax输出，提高了微调后预训练模型的对抗鲁棒性，抵御常见攻击。后续研究应探索损失函数的输出多样性、泛化性和鲁棒性与性能之间的权衡关系。
🎯
关键要点
- 通过修改预训练模型的损失函数，限制前K个softmax输出。
- 微调后，预训练模型的对抗鲁棒性显著提高，能够抵御常见攻击。
- 后续研究应探索损失函数的输出多样性、泛化性与鲁棒性之间的权衡关系。
- 本文代码将在接受后提供。
➡️
