批评的批评
内容提要
本文综述大语言模型批判能力研究：批判任务对多数模型具挑战性，自我批判尤难；提出CritiqueLLM等模型，性能可比GPT-4，部分无参考任务胜出，其批评可作反馈提升生成质量。研究还涉及生成文本结构连贯性不足、CRITIC外部反馈框架、机器翻译评估元评估、AI文本检测及解释质量评估模型。
延伸解读
批判能力：大模型的普遍短板
文章指出，批判任务对大多数大语言模型都很有挑战性，自我批判尤其困难。这意味着模型在评估自身或他人输出时容易出错，直接依赖其进行质量把关存在风险。不过，研究也提出了自我检查等基准方法，能在一定程度上提升任务表现，说明批判能力虽弱但可通过方法改进。
CritiqueLLM：小模型也能比肩GPT-4
CritiqueLLM采用基于对话的提示方法生成高质量评估数据，在评估性能上可与GPT-4相媲美，尤其在系统级相关性上表现突出。在无参考环境中，它在8个任务中有3个胜过GPT-4。这表明专门设计的批判模型有潜力在部分场景替代通用大模型，但并非全面超越，实际应用需结合具体任务判断。
批判作为反馈：提升生成质量的可行路径
文章证明，CritiqueLLM生成的批评可以作为可扩展反馈，直接提高LLM的生成质量。这为AI辅助人类反馈提供了概念证明，意味着批判不仅用于评估，还能反哺生成过程。但需注意，这种反馈的有效性依赖于批判质量本身，而批判任务对模型仍具挑战性，因此实际部署时需谨慎验证反馈的可靠性。
评估生态的多样性与局限
文章还涉及生成文本结构连贯性不足、CRITIC外部反馈框架、机器翻译评估元评估、AI文本检测及解释质量评估模型等。这些工作从不同角度补充了批判与评估的研究版图，但也反映出当前评估方法分散、标准不一。例如机器翻译评估存在令人担忧的趋势，AI文本检测依赖统计方法且受编辑影响，说明构建统一可靠的评估体系仍需更多探索。
Q&A
大语言模型在批判任务上的表现如何？
批判任务对大多数模型来说都很有挑战性，自我批判尤其困难。研究还介绍了一种名为自我检查的简单有效的基准方法，以提高各种模型的任务表现。
CritiqueLLM是什么？它的性能如何？
CritiqueLLM是一种新型批判生成模型，采用基于对话的提示方法用于高质量的参考/无参考评估数据。实验表明，其评估性能可与GPT-4相媲美，尤其在系统级相关性上，甚至在具有挑战性的无参考环境中，在8个任务中有3个胜过GPT-4。
生成的批评如何用于提升LLM的生成质量？
CritiqueLLM生成的批评可以作为可扩展反馈，直接提高LLM的生成质量。
Transformer语言模型在生成文本结构方面有什么不足？
基于Transformer的语言模型能够捕捉主题结构，但在维持结构连贯性和建模指代关系方面存在困难。
CRITIC框架是什么？它有什么作用？
CRITIC是一个通过外部反馈来提高大型语言模型性能和自我完善能力的框架，具体包括对问题回答、代码合成和削减有害内容等方面的基准测试，其作用类似于人类交互工具的方式。
如何检测一篇文章是否由AI生成？
提出了一种方法，通过多个困惑度测试判断单个句子或其他文本单元的来源，并使用Higher Criticism方法结合这些测试。该方法通过接近对数困惑度与交叉熵率的收敛以及针对编辑文本的统计模型，表明大部分句子可能由语言模型生成，但也可能有一些句子通过不同机制产生。
