本研究推出IndicMMLU-Pro基准,评估大语言模型在印度语言上的表现,填补研究空白,强调设计原则,促进文化敏感的印度语言模型发展。
通过对不同国家的个体如何感知仇恨言论的深入研究,引入了一个跨文化重新标注的采样SBIC数据集(CReHate)。该数据集包含来自五个不同国家的注释:澳大利亚、新加坡、南非、英国和美国。通过迁移学习引入了一种文化敏感的仇恨言论分类器,善于捕捉不同国籍的观点。这些发现强调了需要重新评估自然语言处理研究的某些方面,特别是对英语言中仇恨言论微妙性的关注。
完成下面两步后,将自动完成登录并继续当前操作。