Apple Machine Learning Research
·
欺骗多模态大型语言模型有多容易？对欺骗性提示的实证分析
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
多模态大型语言模型（MLLMs）在处理欺骗性信息时仍存在挑战。为评估其脆弱性，提出了MAD-Bench基准，包含1000个测试样本，分析多种模型表现。GPT-4o的准确率为82.82%，而其他模型仅为9%至50%。建议在欺骗性提示中增加段落以提高准确率，但整体表现仍不理想。希望MAD-Bench能促进进一步研究。
🎯
关键要点
- 多模态大型语言模型（MLLMs）在处理欺骗性信息时面临挑战。
- 提出了MAD-Bench基准，包含1000个测试样本，分为5个类别。
- 对多种流行的MLLMs进行了综合分析，包括GPT-4v、Reka、Gemini-Pro等。
- GPT-4o在MAD-Bench上的准确率为82.82%，其他模型的准确率仅为9%至50%。
- 建议在欺骗性提示中增加段落以提高模型的准确率。
- 尽管增加段落可以使准确率翻倍，但整体表现仍不理想。
- 希望MAD-Bench能促进进一步研究，以增强模型对欺骗性提示的抵抗力。
➡️
