BriefGPT - AI 论文速递
·
利用弱标注数据在混合代码 Hinglish 中进行仇恨言论检测：基于可行性驱动的迁移学习方法与大型语言模型
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
该研究使用生成式人工智能生成合成仇恨言论序列，并微调预训练语言模型以提高对仇恨言论的泛化能力。实验证明该方法改进了召回性能，但GPT-3.5模型的泛化效果更好，召回率中等且精确度低。使用类似的文本生成技术改善GPT-3.5及后续模型的敏感性尚不清楚。
🎯
关键要点
- 深度神经模型自动检测仇恨言论受到标记数据稀缺性的影响，导致泛化能力差。
- 利用生成式人工智能生成合成仇恨言论序列，以缓解数据稀缺问题。
- 生成的数据用于微调大型预训练语言模型，如 BERT、RoBERTa 和 ALBERT。
- 研究了相关方法、实验设置及评估，验证了改进对仇恨言论的泛化能力。
- 使用适应仇恨检测的预训练语言模型扩充训练集，评估其影响。
- 结果表明，该方法提高了不同数据分布下的召回性能。
- 使用 GPT-3.5 模型比较微调后的预训练语言模型在零样本仇恨检测方面的性能。
- 尽管 GPT-3.5 模型的泛化效果更好，但召回率中等且精确度低。
- 尚不清楚是否可以使用类似的文本生成技术改善 GPT-3.5 及后续模型的敏感性。
➡️
