REFeREE: 一种基于模型的无参考文本简化度量方法
内容提要
本文探讨了无参考文本生成质量评估的方法，发现无参考度量在性能上优于基于参考的度量。研究提出了新指标ParaScore和NoRefER，显示出与人类判断的高相关性，实验结果表明这些方法在文本质量评估中具有显著优势，尤其在不同生成任务中表现出色。
延伸解读
无参考度量的优势与适用条件
文章指出，无参考度量在多个自然语言生成任务中与人类判断的相关性高于基于参考的度量，且对语言质量不足更敏感。然而，其有效性因任务而异，并受候选文本质量影响。因此，在将无参考度量应用于新任务时，尤其是输入形式不常见或答案空间高度变化时，有必要先评估其性能，不能盲目套用。
参考文本度量的固有局限
研究表明，基于参考文本的度量在评估生成文本时存在固有偏见和限制。例如，在问题生成任务中，使用人工编写的参考文本并不能保证基于参考的指标有效。因此，文章建议将这类度量作为分析模型行为的诊断工具，而非直接作为评估任务表现的指标，以避免误导性结论。
新指标的设计思路与表现
为克服现有度量的不足，研究者提出了ParaScore和NoRefER等新指标。ParaScore结合了基于参考和无参考指标的优点，并显式建模词汇差异；NoRefER则采用对比学习和连体网络结构，通过自监督精调跨语言模型进行质量排序。实验证明，这些指标与人类判断高度相关，并能准确区分高质量与有缺陷的生成结果。
Q&A
无参考文本生成质量评估的优势是什么？
无参考文本生成质量评估在性能上优于基于参考的度量，能够准确区分高质量和有缺陷的问题。
ParaScore和NoRefER是什么？
ParaScore和NoRefER是新提出的无参考文本质量评估指标，显示出与人类判断的高相关性。
无参考度量在文本质量评估中的表现如何？
无参考度量在不同生成任务中表现出色，具有显著的评估优势。
参考文本的自由度量存在哪些问题？
参考文本的自由度量在评估生成文本时存在固有的偏见和限制，建议作为分析工具而非评估指标。
无参考评估方法如何与人类判断一致？
实验结果表明，无参考评估方法能够与人类判断达到最先进的一致性。
无参考文本生成质量评估的应用场景有哪些？
无参考文本生成质量评估可广泛应用于各种自然语言生成任务，尤其在文本简化和问题生成等领域。
