2023 年 ICON 共享任务概述：印度语中性别虐待检测
内容提要
该文汇总多项社交媒体仇恨言论检测研究：HASOC构建英语、印地语、马拉地语基准数据集，区分二元与精细分类；另有印地语、泰米尔语、印度英语性别虐待数据集，以及马拉地语攻击性内容识别竞赛，最佳F1达0.97。研究还涉及跨语言抗议事件检测、混合码POS标注、阿拉伯语仇恨言论检测、多语言BERT检测及印尼语、乌尔都语辱骂言论分析，并探索迁移学习支持低资源语言。
延伸解读
多语言仇恨言论检测的数据集进展
文章汇总了多个针对非英语语言的仇恨言论检测数据集，包括英语、印地语、马拉地语的HASOC基准数据集，以及印地语、泰米尔语和印度英语的性别虐待数据集。这些数据集由专家标注，尤其关注南亚地区自称妇女或LGBTQIA群体成员的推文，体现了针对特定语言和语境构建自动化工具的必要性。
马拉地语攻击性内容识别的竞赛结果
HASOC 2022马拉地语子任务提供了来自Twitter的手动注释数据集，分为攻击性内容识别、攻击类型分类和攻击目标识别三个子任务。共有10支团队提交59个结果，最佳算法结合传统与深度学习方法，在三个子任务上分别达到0.9745、0.9207和0.9607的F1值，显示了该领域技术的高性能。
跨语言与低资源语言的检测策略
研究涉及跨语言抗议事件检测、混合码POS标注、阿拉伯语仇恨言论检测以及多语言BERT检测等。针对低资源语言，文章提到通过跨语境词嵌入和迁移学习将预测扩展，例如乌尔都语实验表明基于m-BERT的Transformer模型性能最优，为恶意内容检测提供了可借鉴的方案。
Q&A
HASOC 共享任务的主要目标是什么？
HASOC 子轨道旨在为英语、印地语和马拉地语开发基准数据集，以支持在线平台的内容审核，并区分二元分类和精细分类两种分析方法。
针对性别虐待检测，有哪些语言的数据集被构建？
有研究构建了涵盖印地语、泰米尔语和印度英语三种语言的性别虐待数据集，数据来自南亚地区自称女性或LGBTQIA群体成员的专家标注推文。
HASOC 2022 马拉地语子任务包括哪些具体任务？最佳性能如何？
包括三个子任务：Task A 攻击性内容识别、Task B 攻击类型分类、Task C 攻击目标识别。最佳算法结合传统与深度学习，在三个子任务上分别达到 F1 值 0.9745、0.9207 和 0.9607。
在阿拉伯语仇恨言论检测中，如何解决细粒度检测的过拟合问题？
研究探究了多种训练模式，如对比学习和多任务学习，最终使用分类微调和五种模型的集成，在子任务 A、B、C 上分别取得宏 F1 平均分数 0.841、0.817 和 0.476。
多语言仇恨言论检测使用了哪些语言和模型？
有研究针对印地语、德语和英语三种语言，使用通过机器学习系统分类的 Twitter 数据集，并采用变压器结构 BERT 进行实验。
如何将辱骂性言论检测扩展到低资源语言？
通过跨语境词嵌入和迁移学习，将预测扩展到低资源语言中，为应对恶意内容提供解决方案。
