随着大型语言模型的出现,文本摘要取得了进展。然而,自动生成的摘要存在事实不一致的问题。为了解决这个问题,提出了基于自然语言推理和主张提取的事实性评估摘要度量方法。
研究者发现大多数语言模型生成的对话摘要中有27%的事实不一致。对于更具挑战性的事实问题回答,所有模型的平均准确率仅为62.8%。研究还发现,对话的主题/客体的理解是语言模型对话理解能力中最困难的问题。研究者提出了一种通过自动构建多任务数据进行微调的方法,实验结果显示准确率提升了8.9%。
研究者发现,大多数语言模型生成的对话摘要中有27%的事实不一致。对于更具挑战性的事实问题回答,所有模型的平均准确率仅为62.8%。研究还发现,对话的主题/客体的理解是语言模型对话理解能力中最困难的问题。通过自动构建多任务数据进行微调,可以提高模型的对话理解能力。在DIAC-FactQA上,该方法获得了8.9%的准确率提升。
研究者发现大多数对话模型生成的摘要中有27%的事实不一致。对于更具挑战性的事实问题回答,所有模型的平均准确率仅为62.8%。研究者提出了一种通过自动构建多任务数据进行微调的方法,实验结果显示准确率提升了8.9%。
完成下面两步后,将自动完成登录并继续当前操作。