利用弱标注数据在混合代码 Hinglish 中进行仇恨言论检测：基于可行性驱动的迁移学习方法与大型语言模型
内容提要
该文综述多语言仇恨言论检测研究：低资源语言采用LASER嵌入加逻辑回归效果最佳，高资源语言用BERT更好；自然语言推理和元学习可缓解标注不足；生成式AI合成数据微调能提升泛化与召回；大模型配合提示策略可有效检测，加入目标群体与解释信息可显著提升性能。
延伸解读
低资源与高资源语言的模型选择差异
文章指出，在低资源语言场景下，使用LASER嵌入和逻辑回归的简单模型性能最佳，而在高资源语言场景下，BERT模型表现更好。这一发现提示研究者和开发者在构建仇恨言论检测系统时，应根据语言资源的丰富程度选择合适的技术方案，而非盲目追求复杂模型。对于资源稀缺的语言，简单模型反而能提供更高效可靠的解决方案。
缓解标注数据不足的多种技术路径
针对仇恨言论检测中标记数据稀缺的问题，文章综述了多种缓解策略：自然语言推理（NLI）模型可用于零样本分类，在英语检测中达到79.4%的准确度；元学习框架HateMAML通过自监督策略提升低资源语言性能；生成式AI合成数据微调能改善泛化能力和召回率。这些方法各有适用场景，为不同资源条件下的检测任务提供了灵活选择。
大型语言模型的检测能力与局限
文章提到，大型语言模型配合提示策略能有效检测仇恨言论，甚至超过基准机器学习模型。在流程中加入目标群体信息可提升性能约20-30%，加入解释信息可再提升10-20%。然而，GPT-3.5在零样本检测中虽泛化较好，但召回率中等且精确度低。此外，模型存在可被越狱提示攻击的薄弱点，需研发安全技术增强对抗能力。
Q&A
在多语言仇恨言论检测中，低资源语言和高资源语言分别适合用什么模型？
在低资源设置下，使用LASER嵌入和逻辑回归的简单模型性能最佳；在高资源设置下，BERT模型表现更好。
如何解决仇恨言论检测中标注数据不足的问题？
可以利用自然语言推理（NLI）模型进行零样本分类，或采用元学习框架如HateMAML，以及使用生成式AI合成数据来微调预训练语言模型，从而缓解标注数据稀缺的问题。
大型语言模型在仇恨言论检测中的表现如何？
大型语言模型能有效检测恶意言论，并超过当前基准机器学习模型的性能。使用提示策略可以高效利用其知识库。在流程中加入目标群体信息和解释，能显著提升模型性能（约20-30%和10-20%）。但GPT-3.5在零样本仇恨检测中泛化效果更好，召回率中等且精确度低。
生成式AI合成数据如何帮助仇恨言论检测？
利用生成式人工智能从现有标记示例中生成大量合成仇恨言论序列，并将生成的数据应用于微调大型预训练语言模型（如BERT、RoBERTa和ALBERT），可以改进对仇恨言论的泛化能力，提高不同数据分布下的召回性能。
HateMAML框架有什么特点？
HateMAML框架通过元学习技术和自监督策略在低资源语言下进行仇恨言论检测，达到了比现有方案更好的性能，同时兼备跨语言迁移和领域泛化功能。
在仇恨言论检测中，加入解释和上下文信息有什么作用？
在检测讨厌或有害语言时，将目标信息包含在流程中可以显著提高模型性能（约20-30%），而将理由/解释加入流程会在不同数据集上相较基线进一步提升性能（约10-20%）。
