MuTox：通用多语种基于音频的毒性数据集和零样本检测器
内容提要
本文介绍多项毒性检测与缓解研究：MinTox流水线在推理时用多模态分类器识别并减轻翻译中增加的毒性，在SEAMLESSM4T中滤除25%至95%的增加毒性且保持翻译质量；Moj Masti团队在混合代码恶性评论识别任务中夺冠；此外还有MuAViC多语言视听数据集、LifeTox隐含有害性数据集、ToxiGen大规模毒性数据集、阿拉伯语毒性数据集综述及多语言主题模型MuTo等成果。
延伸解读
翻译中的毒性增量：MinTox 的推理时缓解
MinTox 针对的是翻译过程中新增的毒性，而非原文已有的毒性。它使用多模态毒性分类器在推理时工作，并在 SEAMLESSM4T 系统中滤除了 25% 至 95% 的增加毒性，同时保持翻译质量。这表明毒性缓解可以嵌入翻译流程，但效果范围较大，实际部署需关注具体语言和领域下的过滤比例。
混合代码毒性识别：数据增强与后处理的作用
Moj Masti 团队在混合代码/交替代码恶性评论识别任务中，基于多语言 Transformer 预训练和微调，在测试集上取得平均 F-1 0.9 的最佳性能。其提升来自添加音译数据、集成和后处理技术。这说明对于混合代码场景，单纯依赖预训练模型不够，针对性的数据增强和系统集成能显著提升效果。
隐含有害性检测：小模型微调可媲美大模型零样本
LifeTox 数据集聚焦于寻求建议情境中的隐含有害性。实验显示，RoBERTa 在 LifeTox 上微调后，其分类性能可以匹配或超过大型语言模型的零样本表现。这提示在隐含有害性这类复杂任务上，高质量领域数据微调的小模型仍是有效方案，不一定需要依赖大模型的零样本能力。
多语言毒性资源现状：覆盖扩展与数据缺口并存
文章列举了多个多语言毒性相关资源：MuAViC 提供 9 种语言、1200 小时视听数据；ToxiGen 自动生成 274k 条涉及 13 个少数群体的毒性与良性陈述；阿拉伯语毒性数据集综述梳理了 49 个数据集并指出差距。这些工作扩展了语言和群体覆盖，但阿拉伯语综述也表明现有数据在内容、标注和可复用性上仍有不足。
Q&A
MinTox 是如何在翻译过程中减少毒性的？
MinTox 是一个在推理时工作的流水线，使用多模态毒性检测分类器来识别和减轻翻译中增加的毒性。在 SEAMLESSM4T 系统中，它滤除了 25% 至 95% 的增加毒性，同时保持翻译质量。
Moj Masti 团队在混合代码恶性评论识别任务中取得了什么成绩？
Moj Masti 团队利用多语言 Transformer 预训练和微调模型处理混合代码/交替代码分类任务，在测试数据/排行榜上实现了平均 F-1 分数 0.9 的最佳性能，并通过添加音译数据、集成和后处理技术进一步提高了性能，最终排名第一。
LifeTox 数据集主要用于解决什么问题？
LifeTox 数据集用于在广泛的寻求建议的情境中识别隐含的有害性。实验证明，在隐含有害性分类任务中，RoBERTa 在 LifeTox 上微调的结果可以与大型语言模型的零样本性能相匹配或超过。
ToxiGen 数据集有什么特点？
ToxiGen 是一个新的大规模自动生成的 274k 毒性和良性陈述数据集，用于检测涉及 13 个少数群体的文本。它使用基于展示的提示框架和诱导循环解码方法生成微妙的毒性和良性文本，覆盖范围更广的暗含毒性文本，包括更多样化的人口群体。人类评估表明，94.5% 的毒性示例被标记为仇恨言论。
MuAViC 数据集是什么？它有什么用途？
MuAViC 是首个开放的多语言视听数据集，提供了 1200 小时覆盖 9 种语言的视听数据，可应用于嘈杂环境下的语音识别和翻译模型构建。
针对阿拉伯语在线毒性语言，现有数据集调查发现了哪些问题？
该调查收集了 49 个可用的阿拉伯语毒性数据集及其论文，从内容、注释过程和可重复使用性三个维度的 16 个标准进行了全面分析，发现了现有差距，并对未来研究工作提出了建议。
