大规模野外合作：从野外越狱到（对抗性地）更安全的语言模型
内容提要
本研究评估了大型语言模型（LLMs）的安全性，发现不同模型在恶意攻击下的表现差异。GPT-4和GPT-4V表现出较强的耐受性，而Llama2和Qwen-VL-Chat则显示出更高的鲁棒性。研究提出了越狱提示数据集，揭示了模型在指令中的偏好及其对不安全内容生成的影响，强调了评估破解方法的必要性。
延伸解读
模型安全性的差异表现
文章通过1445个有害问题的评估数据集测试了11个LLMs，发现GPT-4和GPT-4V对恶意攻击的耐受性优于开源模型，而Llama2和Qwen-VL-Chat在开源模型中鲁棒性更高。这表明不同模型在安全对齐上存在显著差异，闭源模型可能具有更强的防护，但开源模型中也存在相对稳健的选项。
视觉攻击的可迁移性限制
研究指出，相对于文本恶意入侵攻击，视觉恶意入侵攻击方法的可迁移性相对有限。这意味着针对多模态模型的视觉攻击可能更难从一个模型迁移到另一个模型，从而降低了跨模型攻击的风险，但也提示防御者需关注模态特定的漏洞。
指令动词对越狱率的影响
文章发现LLMs偏爱某些指令动词，并且在显式正常指令中存在不同的越狱率。这意味着指令中的动词选择会不同程度地增强模型生成不安全内容的概率。这一发现强调了在模型评估和提示设计中，需要细致考虑语言表述对安全性的潜在影响。
评估破解方法的必要性
研究强调了对不同破解方法进行评估的必要性，并提出了基准工具以帮助从业者评估破解攻击。这为未来研究提供了启示，表明系统化评估越狱攻击对于理解模型漏洞和提升安全性至关重要，从业者应利用此类工具进行持续测试和改进。
Q&A
大型语言模型（LLMs）的安全性问题是什么？
大型语言模型的安全性问题包括潜在有害信息和偏见，可能导致生成不安全内容。
GPT-4和GPT-4V在恶意攻击下的表现如何？
GPT-4和GPT-4V在恶意攻击下表现出较强的耐受性，优于其他开源模型。
Llama2和Qwen-VL-Chat的鲁棒性如何？
Llama2和Qwen-VL-Chat在开源模型中表现出更高的鲁棒性，尤其在文本恶意入侵攻击中。
越狱提示数据集的目的是什么？
越狱提示数据集旨在研究大型语言模型的文本安全性和输出鲁棒性，揭示模型偏好的指令动词。
研究中提到的安全性评估方法有哪些？
研究中提到的安全性评估方法包括参数化红队技术、对抗测试和强化学习等。
未来研究在LLMs安全性方面的启示是什么？
未来研究应关注评估破解方法的必要性，并提供基准工具以帮助从业者评估破解攻击。
