利用预训练的句子变换器在印度语言中进行冒犯性语言检测
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该研究旨在通过对孟加拉语、阿萨姆语和古吉拉特语中的恶意言论进行检测,来促进包容性的在线空间。研究使用预训练的BERT和SBERT模型进行微调,并发现单语句BERT模型在孟加拉语方面表现最佳,但阿萨姆语和古吉拉特语的性能仍有改进的机会。
🎯
关键要点
-
研究旨在检测孟加拉语、阿萨姆语和古吉拉特语中的恶意言论,促进包容性的在线空间。
-
使用HASOC 2023数据集对预训练的BERT和SBERT模型进行微调。
-
单语句BERT模型在孟加拉语方面表现最佳。
-
阿萨姆语和古吉拉特语的检测性能仍有改进的机会。
-
研究目标是通过打击恶意言论的泛滥来促进包容性。
🏷️