本文综述语言模型红队测试研究,涵盖通过人类反馈强化学习、自动多轮红队、贝叶斯优化等方法检测并减少模型有害输出,发现模型规模扩大后更难被攻击,并发布CommonClaim、SAP等数据集及RAI评估框架,以推动大模型安全部署与负责任使用。
本文综述语言模型与视觉语言模型的安全与能力研究:通过红队技术检测有害输出,发现模型规模越大越难攻击;提出VaLM视觉增强框架及多模态标题提升检索;指出视觉输入易受对抗攻击,可突破MiniGPT-4安全机制生成有害内容,呼吁全面风险评估。
完成下面两步后,将自动完成登录并继续当前操作。