Apple Machine Learning Research
·
VLSU：绘制人工智能安全的多模态联合理解的界限
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
本文介绍了视觉语言安全理解（VLSU）框架，用于评估多模态模型的安全性。研究表明，现有模型在图像与文本的联合理解方面表现不佳，准确率从90%降至20-55%。此外，模型在拒绝不安全内容与处理边界案例之间难以平衡，导致过度屏蔽或拒绝率下降。VLSU框架揭示了当前模型的不足，为未来研究提供了基础。
🎯
关键要点
- VLSU框架用于系统评估多模态模型的安全性，特别是视觉和语言输入的联合理解。
- 现有模型在图像与文本的联合理解方面表现不佳，准确率从90%降至20-55%。
- 模型在拒绝不安全内容与处理边界案例之间难以平衡，导致过度屏蔽或拒绝率下降。
- 34%的联合图像-文本安全分类错误发生在单独模态正确分类的情况下，显示出缺乏组合推理能力。
- 通过指令框架可以减少边界内容的过度屏蔽率，但会导致对不安全内容的拒绝率下降。
❓
延伸问答
VLSU框架的主要功能是什么？
VLSU框架用于系统评估多模态模型的安全性，特别是视觉和语言输入的联合理解。
现有多模态模型在图像与文本的联合理解方面表现如何？
现有模型在图像与文本的联合理解方面表现不佳，准确率从90%降至20-55%。
VLSU框架如何处理不安全内容与边界案例之间的平衡？
模型在拒绝不安全内容与处理边界案例之间难以平衡，导致过度屏蔽或拒绝率下降。
联合图像-文本安全分类错误的主要原因是什么？
34%的联合图像-文本安全分类错误发生在单独模态正确分类的情况下，显示出缺乏组合推理能力。
指令框架对边界内容的影响是什么？
通过指令框架可以减少边界内容的过度屏蔽率，但会导致对不安全内容的拒绝率下降。
VLSU框架对未来研究有什么启示？
VLSU框架揭示了当前模型的不足，为未来研究提供了基础。
➡️
