SafeSora: 通过人类偏好数据集实现文本到视频生成的安全对齐
内容提要
本文介绍了视觉语言模型（VLMs）和大型语言模型（LLMs）安全性研究的进展，包括BeaverTails数据集的创建，用于分析问答对的有用性和无害性，提升模型安全性。此外，研究探讨了GPT-4与人类安全感知的一致性，提出了简单而安全的提示工程方法（SSP），并介绍了针对文本到视频生成模型的幻觉检测框架SoraDetector。这些研究为模型的安全发展提供了重要资源。
延伸解读
安全对齐的多维度进展
文章汇总了视觉语言模型和大型语言模型安全对齐的多项研究，涵盖数据集构建、评估方法、提示工程和幻觉检测等方向。这些工作从不同角度提升模型安全性，例如SPA-VL数据集增强无害性和有益性，BeaverTails提供细粒度标注，SSP优化图像生成安全，SoraDetector解决视频幻觉。读者可借此了解安全对齐领域的多样性和交叉性。
数据集与评估基准的关键作用
安全对齐研究高度依赖高质量数据集和评估基准。SPA-VL、BeaverTails、DICES、T2VHaluBench等资源为模型训练和评估提供了基础。BeaverTails包含30,207个问答对的安全元标签，DICES涉及112名标注者，这些数据支持了模型安全性的量化分析。没有这些资源，安全对齐的进展将难以衡量和比较。
人类偏好与模型对齐的差距
研究显示GPT-4与人类安全感知的平均相关系数为0.59，高于标注者之间的平均相关系数0.51，但组内个体差异显著，且GPT-4无法预测某个人群比另一个人群认为对话更不安全的情况。这表明模型对齐人类偏好仍存在局限性，种族和性别不能完全解释协作差异，未来需要更细致的对齐方法。
从文本到视频的安全挑战
随着Sora等文本到视频模型的发展，幻觉问题成为安全新挑战。SoraDetector框架通过多模式大型语言模型构建知识图，检测单帧和多帧中的幻觉，并开发了T2VHaluBench基准。VidProM数据集包含167万个真实用户提示，为研究提供了大规模资源。这些工作表明，视频生成的安全对齐需要专门的技术和评估工具。
Q&A
什么是SPA-VL数据集，它的主要功能是什么？
SPA-VL是一个视觉语言模型安全偏好对齐数据集，旨在通过对齐技术训练，提高模型在无害性和有益性方面的表现。
BeaverTails数据集的作用是什么？
BeaverTails数据集用于促进大型语言模型中的安全一致性研究，提供了30,207个问答对的安全元标签，分析其有用性和无害性。
如何提高图像生成的安全性和语义一致性？
通过提出简单而安全的提示工程方法（SSP），可以提高图像生成的语义一致性和安全性指标，实验证明平均提高了16%和48.9%。
SoraDetector框架的主要功能是什么？
SoraDetector是一个用于检测文本到视频生成模型中幻觉问题的框架，能够分析幻觉现象并生成视频质量报告。
GPT-4与人类安全感知的一致性如何？
GPT-4与平均标注者评级的皮尔逊相关系数达到0.59，显示出与人类安全感知的一致性较高。
如何改善对话AI系统中生成社交适宜回应的能力？
通过双步骤微调过程，利用社交感知的n对比损失，可以有效改善对话AI系统生成社交适宜回应的能力。
