基于 LLM 的评估者是否混淆了 NLG 质量标准？
内容提要
本文综述利用大语言模型评估自然语言生成质量的方法，梳理现有指标分类并比较其优劣与局限。研究指出，人类与LLM评判者均存在偏见、易受扰动，评估可靠性存疑；LLM在多语言和事实一致性评估上也有偏差。文章呼吁开发更稳健、公平的评估系统，并探讨人机协作与未来方向。
延伸解读
LLM评估者的偏见与脆弱性
文章指出，人类和LLM评判者均存在偏见，且易受扰动。一项研究提出了针对LLM和人类评判者的5种偏见框架，通过142个样本和数千次评估发现，即使最先进的评判者也有相当大的偏见，并利用这些弱点对LLM评判者进行了攻击。这表明当前评估系统的可靠性存疑，开发健壮评估系统迫在眉睫。
多维度独立评估系统的效果与局限
为解决LLM评估偏见，文章提到多维度独立评估系统（Multi-Elo Rating System）在提高LLM评估质量方面成效显著，但对众包评估没有明显改善。这说明该方法可能更适用于LLM自动评估场景，而在人类众包评估中效果有限，需要进一步探索和改进。
LLM评估在多语言与事实一致性上的偏差
文章指出，LLM-based evaluators在多语言评估方面可能存在偏差，需要使用本地语言的数据集进行校准。同时，在评估摘要的事实一致性时，LLM作为评估器存在局限性。这提示研究者和实践者在使用LLM进行跨语言或事实性评估时需谨慎，并考虑语言和任务特异性。
人机协作与评估系统的未来方向
文章探讨了人机合作的NLG评估，并指出人类分析师和LLMs在分类和推理能力上存在显著差异，但合作可能产生协同效应。此外，对ChatGPT、LLaMA和OPT等模型的数百万次查询揭示了LLM在稳健性、一致性和可信度方面的问题。未来需要开发更公平、更先进的评估技术，并关注LLM评估的可行性。
Q&A
LLM作为NLG评估者存在哪些偏见？
文章指出，人类和LLM评判者均存在偏见，具体包括5种偏见，且即使最先进的评判者也存在相当大的偏见。这些偏见导致评估结果可靠性存疑。
LLM评估者在多语言评估中有什么问题？
研究发现，LLM-based evaluators在多语言评估方面可能存在偏差，需要使用本地语言的数据集进行校准。
如何提高LLM评估的可靠性？
文章提出了多维度独立评估系统（Multi-Elo Rating System），在提高LLM评估质量方面取得了显著成效，但对众包评估没有明显改善，需要进一步探索和改进。
LLM评估与人类评估结果一致吗？
文章提到，LLM评估结果与人类专家的评估结果保持一致，但同时也指出人类和LLM评判者都容易受到扰动，存在偏见。
LLM在事实一致性评估上表现如何？
研究发现，LLM作为评估器在评估文本生成模型生成的摘要的事实一致性时存在局限性，其在事实性评分中表现不足。
人机协作在NLG评估中有什么作用？
文章讨论了人机合作的NLG评估，指出人类分析师和LLMs的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。
