本研究提出了多语言端到端元评估基准(MEMERAG),旨在解决现有评估主要集中于英语的问题,并强调文化差异的重要性。实验结果表明,该基准在多语言自动评估中具有应用潜力。
本研究提出了一种双视角NLG元评估框架,解决了传统方法中人类评级和相关性度量的模糊问题。通过对16种大型语言模型的实验,验证了该框架的有效性。
本研究提出了MixEval-X,通过多模态基准混合和适应-修正流程,解决评估标准不一致和偏见问题,确保评估结果能推广到现实应用中。元评估显示其与人群评估的相关性高达0.98。
本文介绍了RAGChecker,一种用于细粒度评估增强检索生成系统的框架。通过元评估,RAGChecker在相关性方面表现优于其他评估指标,为设计更有效的RAG系统提供指导。
本文提出了一种评估预训练语言模型中偏见的方法,并在多种语言的模型上进行了元评估,证明该方法更准确。同时,本文还构建了日语和中文的自然语言推理任务评估数据集,测量了预训练语言模型的偏见倾向。
完成下面两步后,将自动完成登录并继续当前操作。