ToXCL: 毒性言论检测和解释的统一框架
内容提要
本研究开发了可视化工具ToxVis，利用深度学习技术对在线暴恐言论进行分类，提升内容审查效果。研究表明，结合目标信息和解释可以显著提高模型性能，并提出了改进的解释性技术和毒性检测方法，验证了其有效性，强调了合理数据利用对文本分类器的积极作用。
延伸解读
多模态信息提升检测性能
文章指出，在毒性言论检测中融入目标信息和解释理由能显著提升模型性能。具体而言，加入目标信息可提高约20-30%，而加入解释可再提升约10-20%。这表明，单纯依赖文本内容可能不足以准确识别毒性，结合受众目标和解释性理由有助于模型更全面地理解语境，从而做出更准确的判断。
中文毒性检测的资源建设
针对中文毒性语言，研究构建了ToxiCN数据集和侮辱词汇表，并提出了一种精细检测方法。这填补了中文毒性检测资源的不足，为后续研究提供了数据基础。实验验证了该方法的有效性，表明结合领域知识和数据资源能够提升中文毒性检测的准确性，对中文内容审核具有实用价值。
隐晦毒性的检测挑战与进展
ToxiGen数据集包含274k条涉及13个少数群体的毒性和良性陈述，其中94.5%的毒性示例被人类标注为仇恨言论。该数据集通过展示提示和诱导循环解码生成隐晦毒性文本，覆盖更广的暗含毒性，有助于模型学习识别不易察觉的毒性表达，推动更全面的毒性检测研究。
解释质量影响审核效果
BiasX框架的研究表明，在内容审核中，自由文本解释的质量至关重要。专业撰写的人类解释比完美的机器生成解释更能帮助参与者识别微妙的有毒内容（提升7.2% vs 2.4%）。这提示我们，在开发自动审核工具时，应注重解释的可读性和洞察力，而非仅追求自动化，以促进更深思熟虑的审核决策。
Q&A
ToxVis工具的主要功能是什么？
ToxVis工具通过深度学习技术对在线暴恐言论进行分类，细分为隐性仇恨言论、明显性仇恨言论和非恶意内容三个类别。
研究中如何提高模型的性能？
研究发现，将目标信息和解释结合使用可以显著提高模型性能，提升约20-30%。
ToxiCN数据集的目的是什么？
ToxiCN数据集用于构建监控毒性框架，精细检测中文毒性语言。
ToxiGen数据集的特点是什么？
ToxiGen是一个大规模自动生成的毒性和良性陈述数据集，覆盖范围更广的暗含毒性文本。
研究中提出了什么改进的解释性技术？
研究提出了一种改进的解释性技术，通过假设文章最有毒部分的毒性来提高模型可解释性。
合理的数据利用对文本分类器有什么影响？
合理的数据利用对文本分类器的性能提升有积极作用。
