本研究提出了MEMERAG,一个多语言端到端元评估基准,旨在解决现有评估主要集中于英语的问题。通过使用本土语言问题和多种大型语言模型生成的响应,增强了评估的准确性,实验结果表明该基准能有效识别多语言自动评估者的改进效果。
本研究提出了一种双视角NLG元评估框架,解决了传统方法中人类评级和相关性度量的模糊问题。通过对16种大型语言模型的实验,验证了该框架的有效性。
该文综述大语言模型在语义相似度与文本生成评估中的应用:生成式模型在特定领域STS任务中优于编码器模型;LLMScore、INSTRUCTSCORE等实现可解释、多层次的自动评估,与人类判断相关性更高;LLMBar等元评估基准揭示评估器差异,并提出提示策略缩小与人类差距;MSTemp通过元语义模板检测数据污染,降低模型性能。
本文提出了一种评估预训练语言模型中偏见的方法,并在多种语言的模型上进行了元评估,证明该方法更准确。同时,本文还构建了日语和中文的自然语言推理任务评估数据集,测量了预训练语言模型的偏见倾向。
完成下面两步后,将自动完成登录并继续当前操作。