基础性自动评估器：驯服大型语言模型以获得更好的自动评价
内容提要
本文介绍了LLaMA-Reviewer框架，该框架采用参数高效微调（PEFT）方法，能够自动评分短答案和论文并生成反馈。通过同行评审机制，解决了评估成本高和偏见问题。FLAME方法在分类任务中表现优异，准确性显著提高。研究还比较了不同大型语言模型在多语言评估中的表现，发现GPT-4效果最佳，并分析了LLM评估与人类评分的一致性问题。
延伸解读
LLaMA-Reviewer 的轻量化优势
LLaMA-Reviewer 采用参数高效微调（PEFT）方法，即使使用最小的 6.7B 参数 LLaMA 基础模型和有限的微调时期，也能达到现有代码审查模型的性能。这表明在资源受限的场景下，通过 PEFT 可以低成本、低延迟地实现自动评分和反馈生成，为教育、代码审查等领域的自动化评估提供了可行方案。
同行评审机制缓解评估偏见
文章指出，使用单一语言模型进行评估存在偏见，而同行评审机制通过多个模型相互评审，能够有效解决评估成本高、泛化能力低和偏见问题。在文本摘要任务上的实验证明了该机制的有效性，这为构建更公正、可靠的自动评估系统提供了新思路。
FLAME 方法在分类任务中的提升
FLAME 方法利用少量样本提示提取语言模型的内在知识，并通过强化学习微调，在分类体系扩展任务中实现了更准确的预测。实验显示，在八个基准测试上准确性提高了 18.5%，Wu & Palmer 指标提高了 12.3%。该方法在缺乏资源的环境中表现出显著优势，但文章也通过案例研究指出了其优缺点。
多语言评估中 GPT-4 的表现与局限
在多语言评估框架中，基于 GPT-4 的评估器在 10 种语言上表现最佳，而 GPT-3.5-Turbo 表现不佳。然而，分析发现 LLM 评估器提供的推理往往与人类评判的推理不一致。此外，强制 LLM 仅输出数字评分并不理想，要求 LLM 解释评分可以改善与人类评分的相关性。这表明 LLM 作为评估器仍有局限性，需结合解释性要求来提升一致性。
Q&A
LLaMA-Reviewer框架的主要功能是什么？
LLaMA-Reviewer框架能够自动为短答案和论文评分并生成反馈，具有高准确性和低成本。
FLAME方法在分类任务中表现如何？
FLAME方法在分类任务中表现优异，准确性提高了18.5%。
在多语言评估中，哪种大型语言模型表现最佳？
在多语言评估中，基于GPT-4的评估器表现最佳。
如何解决评估中的偏见问题？
通过同行评审机制，LLaMA-Reviewer框架能够解决评估中的偏见问题。
强制LLM仅输出数字评分的效果如何？
强制LLM仅输出数字评分并不理想，要求LLM解释评分可以改善与人类评分的相关性。
ChatGPT在文本处理任务中的表现如何？
ChatGPT在文本摘要、文本简化和语法错误纠正等任务中表现优于其他模型。
