在自然语言生成系统评估中，引用是否有必要？何时何地？
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
该研究探讨了基于参考文献的评估指标在问题生成中的局限性，提出了一种新方法，利用大型语言模型评估问题的自然性、可回答性和复杂性。实验证明，该方法能够有效区分高质量与低质量问题，并与人类判断一致。研究建议将自由度量作为分析工具，而非评估模型表现的指标。
🔎
延伸解读
基于参考文献的评估指标为何可能失效
文章指出，在问题生成任务中，使用人工编写的参考文献并不能保证BLEU、BERTScore等基于参考文献的指标的有效性。这是因为单个参考问题可能无法覆盖所有合理的生成结果，其句法或语义限制会导致评估偏差。因此，即使生成问题质量很高，也可能因与参考不匹配而被低估。
自由度量方法如何工作
作者提出一种基于自由参考文献的多维度度量方法，利用大型语言模型评估问题的自然性、可回答性和复杂性。该方法不依赖单个参考问题的句法或语义限制，也不需要多样化的参考文献集合。实验证明，它能准确区分高质量与有缺陷的问题，并与人类判断达到最先进的一致性。
自由度量的定位：分析工具而非评估指标
研究建议将自由度量作为分析工具，而非评估模型表现的指标。因为参考文本的自由度量在评估生成文本时存在固有偏见和限制，直接用于模型比较可能产生误导。更合适的做法是用它来诊断模型行为，理解生成文本的特性，从而辅助系统开发。
❓
Q&A
为什么人工编写的参考文献不能保证评估指标的有效性？
因为使用人工编写的参考文献无法确保基于参考文献的评估指标的有效性。
新提出的评估方法有哪些优势？
新方法利用大型语言模型评估问题的自然性、可回答性和复杂性，不受单个参考问题的句法或语义限制。
该研究如何验证新评估方法的有效性？
通过实验证明，该方法能够准确区分高质量问题和有缺陷的问题，并与人类判断一致。
研究建议如何使用自由度量？
研究建议将自由度量作为分析工具，而非评估模型表现的指标。
参考文本的自由度量存在哪些偏见和限制？
参考文本的自由度量在评估生成文本方面存在固有的偏见和限制。
该研究对自然语言生成系统评估的影响是什么？
该研究提出了一种新型评估方法，可能改善自然语言生成系统的评估准确性和一致性。
🏷️
