利用预训练的句子变换器在印度语言中进行冒犯性语言检测
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该研究旨在通过对孟加拉语、阿萨姆语和古吉拉特语中的恶意言论进行检测,来促进包容性的在线空间。研究使用预训练的BERT和SBERT模型进行微调,并发现单语句BERT模型在孟加拉语方面表现最佳,但阿萨姆语和古吉拉特语的性能仍有改进的机会。
🎯
关键要点
- 研究旨在检测孟加拉语、阿萨姆语和古吉拉特语中的恶意言论,促进包容性的在线空间。
- 使用HASOC 2023数据集对预训练的BERT和SBERT模型进行微调。
- 单语句BERT模型在孟加拉语方面表现最佳。
- 阿萨姆语和古吉拉特语的检测性能仍有改进的机会。
- 研究目标是通过打击恶意言论的泛滥来促进包容性。
➡️