BriefGPT - AI 论文速递
·
XNLIeu：巴斯克语的跨语言自然语言推理数据集
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
该文章介绍了IndoNLI数据集，是第一个适用于印度尼西亚语的NLI数据集。作者使用MNLI的数据收集协议，收集了近18K个句子对。实验结果显示，XLM-R在该数据集上的性能优于其他预训练模型，但仍远低于人类性能。作者发现专家标注数据比众包标注数据更多样化，注释工件更少。希望该数据集能推动印尼自然语言处理研究的进展。
🎯
关键要点
- IndoNLI数据集是第一个适用于印度尼西亚语的NLI数据集。
- 采用MNLI的数据收集协议，收集了近18K个句子对。
- 实验结果显示，XLM-R在该数据集上的性能优于其他预训练模型。
- XLM-R的最佳性能仍然远低于人类性能，准确度差距为13.4%。
- 专家标注数据比众包标注数据更加多样化，注释工件更少。
- 希望该数据集能推动印尼自然语言处理研究的进展。
➡️
