PairEval：使用配对比较进行开放域对话评价
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本研究提出了一种基于自我对话模型的评估方法，旨在提高不同注释人员之间的鲁棒性。实验表明，学习指标PONE显著提高了与人类判断的相关性。此外，研究评估了多种自动评估度量，提出了无参考评估器和BERT微调方法，以改进对话响应生成系统的评估性能，结果显示与人类判断的相关性较强。
❓
Q&A
什么是PONE指标，它的作用是什么？
PONE是一种新的基于学习的评估指标，旨在提高与人类判断的相关性，实验证明其平均相关性提高达13.18%。
这项研究如何提高对话评估的鲁棒性？
研究通过提出基于自我对话模型的评估方法，增强了不同注释人员之间的鲁棒性。
研究中对自动评估度量的比较结果如何？
研究对23种自动评估度量进行了系统比较，评估了它们在不同数据集上的优缺点。
无监督标签情况下的对话响应生成系统评估指标有什么问题？
现有指标与人类判断的相关性较弱，特别是在非技术领域中表现不佳。
BERT微调方法在对话评估中有什么优势？
BERT微调方法提高了生成自然语言模型的评估质量，与人类偏好的相关性更高。
研究中提出的无参考评估器是如何工作的？
无参考评估器利用半监督训练和预训练语言模型来改进自动评估器性能，相关性超过0.6。
🏷️
