T2VSafetyBench 评估文本到视频生成模型的安全性
内容提要
为降低大规模视觉模型（LVMs）带来的有害输出风险，研究者推出了SafeSora数据集，以促进文本到视频生成与人类价值观的对齐。该数据集支持文本-视频审查模型和对齐算法的开发。同时，研究还探讨了文本到图像生成系统的安全性，发现现有防御措施不足，呼吁加强隐性提示的研究与防范。
延伸解读
隐性提示：安全评估的盲区
文章指出，现有T2I安全基准主要关注显性提示，而隐性提示（暗示目标但不明确提及）可能绕过安全约束。ImplicitBench基准包含2000多个隐性提示，涵盖一般符号、名人隐私和NSFW问题。实验表明，T2I模型能准确生成隐性提示指示的目标，且多数模型的NSFW约束可被隐性提示绕过。这提示安全评估需纳入隐性提示，以全面防范风险。
现有防御措施不足，需更强机制
文章评估了商用T2I系统对版权侵权提示的防御，发现简单提示下Copilot和Gemini仅阻止12%和17%的攻击，ChatGPT阻止84%。但自动越狱流程可成功越狱ChatGPT，使其76%的时间产生侵权内容。后处理过滤和机器遗忘等防御策略被证明不够充分。这表明当前防御机制存在漏洞，亟需更强大的防御手段。
T2V评估：从单一指标到综合考量
文章指出，评估T2V模型输出时，自然性和语义匹配是重要因素，但没有单一度量能捕捉这些微妙之处。为此，研究者提出T2VScore，综合考虑文本-视频对齐和视频质量，并构建TVGE数据集。实验证明T2VScore优于现有指标。此外，T2VHE协议通过标准化度量、标注员培训和动态评估模块，在保证高质量注释的同时降低近50%的评估成本。
Q&A
SafeSora数据集的主要目的是什么？
SafeSora数据集旨在促进文本到视频生成与人类价值观的对齐，降低大规模视觉模型的有害输出风险。
SafeSora数据集包含哪些维度和类别？
SafeSora数据集包括帮助性和无害性两个主要维度，细分为4个子维度和12个子类别。
研究发现现有文本到图像生成系统的安全性如何？
研究发现现有的文本到图像生成系统的安全性防御措施不足，呼吁加强对隐性提示的研究与防范。
T2VScore评估方法的主要考虑因素是什么？
T2VScore评估方法综合考虑文本-视频对齐和视频质量两个关键要素。
隐性提示对文本到图像模型的影响是什么？
隐性提示可能绕过安全约束，对文本到图像模型构成潜在威胁，可能导致隐私泄露和不当内容生成。
研究者对隐性提示的态度是什么？
研究者呼吁T2I社区更加关注隐性提示的潜力和风险，并倡导平衡的方法来发挥其益处。
