本文介绍了多模态大型语言模型(MLLM)的评估基准MME,评估了10种先进模型的性能,并探讨了模型优化方向。研究表明,视觉指导调整在自然语言处理中的应用提升了模型的真实性和道德一致性。新基准测试评估了MLLM在抽象推理、人类活动预测和物理交互预测等领域的能力,强调了对现有模型的改进需求。
本文介绍了一种名为Similar Target(ST)的类似目标攻击方法,通过促进每个模型梯度的余弦相似性,规范化了优化方向,从而同时攻击所有替代模型。实验证实了该方法在提高对抗迁移性方面的有效性,优于18个判别分类器和对抗训练模型的最先进攻击方法。
完成下面两步后,将自动完成登录并继续当前操作。