本研究提出了MEMERAG,一个多语言端到端元评估基准,旨在解决现有评估主要集中于英语的问题。通过使用本土语言问题和多种大型语言模型生成的响应,增强了评估的准确性,实验结果表明该基准能有效识别多语言自动评估者的改进效果。
本研究提出了一种双视角NLG元评估框架,解决了传统方法中人类评级和相关性度量的模糊问题。通过对16种大型语言模型的实验,验证了该框架的有效性。
本文提出了一种评估预训练语言模型中偏见的方法,并在多种语言的模型上进行了元评估,证明该方法更准确。同时,本文还构建了日语和中文的自然语言推理任务评估数据集,测量了预训练语言模型的偏见倾向。
完成下面两步后,将自动完成登录并继续当前操作。