本文提出了一个用于评估印度语问答模型的新基准IndicGenBench,以解决现有英语数据集翻译带来的偏差。研究评估了多种大型语言模型在该基准上的表现,发现PaLM-2模型在大多数任务中表现最佳,但与英语相比,所有语言仍存在显著差距,需进一步研究以提升多语言模型的性能。
通过将多样化的指令调整的印地语数据集应用于 OpenHathi,我们发布了适用于辅助任务的 Airavata 模型,并共享了 IndicInstruct 数据集,为进一步研究印地语 LLM 提供支持。此外,我们还提供了评估基准和一种评估印地语 LLM 性能的框架。
该文汇总多项社交媒体仇恨言论检测研究:HASOC构建英语、印地语、马拉地语基准数据集,区分二元与精细分类;另有印地语、泰米尔语、印度英语性别虐待数据集,以及马拉地语攻击性内容识别竞赛,最佳F1达0.97。研究还涉及跨语言抗议事件检测、混合码POS标注、阿拉伯语仇恨言论检测、多语言BERT检测及印尼语、乌尔都语辱骂言论分析,并探索迁移学习支持低资源语言。
完成下面两步后,将自动完成登录并继续当前操作。