问答法评估法律摘要
原文约300字，阅读约需1分钟。发表于：。我们提出了一个新颖的法律摘要评估框架，利用 GPT-4 生成一系列覆盖参考摘要中主要观点和信息的问题 - 回答对。然后，根据参考摘要中的问题，利用 GPT-4 生成回答。最后，GPT-4 对参考摘要和生成摘要的回答进行评分，并检验了与人工评分之间的相关性，结果表明这种基于问题回答的 GPT-4 方法可以成为评估摘要质量的有用工具。
本文研究了基于问答的摘要评估方法，比较了词汇重叠和两种更复杂的文本比较方法，发现 LERC 在某些场景下效果优于其他方法，但在其他场景下表现相当。实验表明改进的验证性能不一定能转化为整体 QA-based 评估质量，这是由于数据集的特性所致。
