GOAT-Bench: 多模态大型模型的安全洞察力通过基于模因的社交滥用
内容提要
社交媒体的指数增长改变了信息的创造、传播和吸收方式，但也导致了网络违规使用表情包的增加。本文研究了大型多模型识别和应对表情包中的社交虐待能力，并提出了GOAT-Bench表情包基准。实验结果显示当前模型对隐性虐待形式缺乏敏感性。
延伸解读
隐性虐待：模型安全的新盲区
GOAT-Bench 的实验揭示了一个关键问题：当前大型多模态模型对显性仇恨内容可能有一定识别能力，但对隐性虐待形式——如隐晦的性别歧视、讽刺性冒犯或看似无害的梗图——缺乏敏感性。这意味着模型在实际社交平台中容易漏判那些不直接使用侮辱性词汇、却同样造成伤害的内容。这种盲区对构建安全人工智能构成直接阻碍，因为隐性虐待往往更普遍、更难以被传统关键词过滤捕获。
基准的价值：从单一识别到多维评估
GOAT-Bench 覆盖超过 6k 个多样表情包，并针对仇恨、厌女症、冒犯、讽刺和有害内容等多个维度进行评估。与仅关注“是否恶意”的二元分类不同，这种多维设计能更细致地暴露模型在不同虐待类型上的表现差异。例如，模型可能对直接冒犯较敏感，但对讽刺或隐性厌女症表现不佳。该基准公开可访问，为研究者提供了可复现的比较平台，有助于推动针对性改进。
多模态模型的现实局限与改进方向
文章指出，包括 GPT-4V 在内的 LMMs 在识别表情包中的微妙社交虐待时仍存在安全意识不足。这提示我们，单纯扩大模型规模或增加训练数据并不自动带来安全理解力的提升。表情包的伤害性往往依赖文化背景、图文反差和隐含意图，模型需要更强的上下文推理能力。GOAT-Bench 的公开为后续研究提供了诊断工具，但文章并未给出具体改进方案，读者应将其视为问题暴露而非解决方案。
Q&A
GOAT-Bench 是什么？它主要用来评估什么？
GOAT-Bench 是一个多模态表情包基准，用于评估大型多模态模型（LMMs）识别和应对表情包中社交虐待的能力，包括仇恨、厌女症、冒犯、讽刺和有害内容。
为什么需要关注表情包中的社交虐待问题？
社交媒体的指数增长改变了信息传播方式，但也导致网络违规使用表情包显著增加，涉及隐性仇恨言论、性别歧视和网络欺凌等主题，因此需要研究模型识别和应对这类虐待的能力。
当前大型多模态模型在识别表情包中的隐性虐待方面表现如何？
实验表明，当前模型仍然存在安全意识不足，对各种隐性虐待形式缺乏敏感性，这被认为是实现安全人工智能的重要阻碍。
GOAT-Bench 使用了多少表情包数据？覆盖哪些类型的虐待内容？
GOAT-Bench 使用了超过 6k 个多样表情包，覆盖隐性仇恨言论、性别歧视、网络欺凌等主题，并评估仇恨、厌女症、冒犯、讽刺和有害内容。
GOAT-Bench 和相关资源是否公开可用？
是的，GOAT-Bench 和相应资源可公开访问，以促进该领域的持续研究。
这项研究对实现安全人工智能有什么启示？
研究指出当前模型对隐性虐待形式缺乏敏感性，这种安全意识不足对实现安全人工智能构成了重要阻碍，需要持续研究来提升模型的安全意识。
