利用预训练的句子变换器在印度语言中进行冒犯性语言检测

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该研究旨在通过对孟加拉语、阿萨姆语和古吉拉特语中的恶意言论进行检测,来促进包容性的在线空间。研究使用预训练的BERT和SBERT模型进行微调,并发现单语句BERT模型在孟加拉语方面表现最佳,但阿萨姆语和古吉拉特语的性能仍有改进的机会。

🎯

关键要点

  • 研究旨在检测孟加拉语、阿萨姆语和古吉拉特语中的恶意言论,促进包容性的在线空间。
  • 使用HASOC 2023数据集对预训练的BERT和SBERT模型进行微调。
  • 单语句BERT模型在孟加拉语方面表现最佳。
  • 阿萨姆语和古吉拉特语的检测性能仍有改进的机会。
  • 研究目标是通过打击恶意言论的泛滥来促进包容性。
➡️

继续阅读