METAL: 大型语言模型质量分析的变形测试框架

该文章介绍了首个多语言语言可接受性基准MELA，并分析了经过精调的XLM-R的权重。结果显示ChatGPT在上下文实例方面表现良好，但仍落后于精调的XLM-R。GPT-4在零-shot设置中与精调的XLM-R性能相当。跨语言和多任务学习实验表明，语言内的训练数据对语言可接受度判断至关重要。文章还引入了冲突权重的概念，可能是跨语言转移困难的潜在指标。