可控的将是非问题和答案去除语境转化为事实陈述

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

该文综述多项问答研究:BoolQ数据集表明是非问题具有挑战性,基于MultiNLI微调的BERT准确率为80.4%,低于人类的90%;多语言基准与远程监督可提升是非问答;对话问答可分解为问题重写与回答,重写已接近人类水平;CONVSR生成会话提示以增强对不完整问题的理解;ClaimDecomp将政治主张分解为是非子问题;强化学习整合重写与对话问答效果有限,但以问答反馈训练重写可提升抽取式和检索式问答;时序表格问答采用图编码与指针网络;综述指出多轮问答已取代单轮问答的主导地位。

🔎

延伸解读

是非问答的挑战与迁移学习价值

BoolQ数据集显示,是非问题在自然环境下颇具挑战性:最佳方法在MultiNLI上微调BERT后准确率达80.4%,仍低于人类的90%。文章还发现,从蕴涵数据迁移比从释义或抽取式QA数据迁移更有效,即使基于BERT等大规模预训练模型,蕴涵迁移仍带来显著收益。这表明,对于是非问答,选择合适的源任务进行迁移学习至关重要。

对话问答的分解与重写策略

文章将对话问答分解为问题重写和问题回答两个子任务。重写模型在TREC CAsT 2019和QuAC数据集上接近人类表现,但端到端性能差距主要源于回答错误。CONVSR框架通过生成会话提示来增强对不完整问题的理解。此外,使用强化学习以QA反馈训练重写模型,能提升抽取式和检索式问答性能,并生成更准确详细的重写。

多语言与跨语言迁移的实证发现

针对是非问答,文章发布了八种语言的新基准,并提出远程监督收集训练数据的方法。实验表明,直接回答(包含极性关键词)有助于训练模型解释间接回答(不包含极性关键词)。若可通过远程监督获得目标语言训练数据,单语微调在五种语言中有效;而跨语言微调在八种语言中总是有益。这为低资源语言的是非问答提供了可行路径。

强化学习整合重写与问答的局限

文章探讨了用强化学习方法整合问题重写与对话问答任务,但发现其效果与端到端基线相当,并分析了失败原因及在对话问答中利用重写的难度。不过,另一项工作以QA反馈作为监督信号训练重写模型,有效提升了抽取式和检索式问答性能,人工评估也显示重写更准确详细。这表明强化学习的收益取决于任务设计与反馈信号的质量。

❓

Q&A

BoolQ数据集是什么?它有什么特点?

BoolQ是一个自然环境下的是/否阅读理解数据集,实验表明它出人意料地具有挑战性。基于MultiNLI微调的BERT模型准确率为80.4%,而人类准确率为90%,两者存在较大差距。

在是非问答中,从哪种数据迁移学习效果最好?

从蕴涵数据进行迁移的效果比从释义或抽取式QA数据迁移更好,即使从BERT等大规模预训练语言模型开始,蕴涵仍然非常有益。最佳方法是在MultiNLI上训练BERT,然后在BoolQ训练集上重新训练,准确率达到80.4%。

对话问答任务通常如何分解?效果如何?

对话问答可分解为问题重写和问题回答两个子任务。问题重写模型在TREC CAsT 2019和QuAC数据集上性能接近人类表现,但对话QA的终端性能差距主要源于回答中的错误。

CONVSR框架的作用是什么?

CONVSR是一种新型框架,用于捕获并生成中间表示作为会话提示,以增强QA模型解释不完整问题的能力,并帮助设计更具吸引力和雄辩的对话代理程序。

ClaimDecomp数据集用于什么目的?

ClaimDecomp数据集用于将复杂的政治要求分解为全面的是非子问题,通过回答这些子问题来判断政治要求的真实性,并帮助找到相关证据以审核整个要求。

使用强化学习整合问题重写和对话问答的效果如何?

使用强化学习方法整合问题重写(QR)和对话问答(CQA)任务,效果与端到端基线相当,并未显著提升,研究还分析了失败原因并描述了在CQA中利用QR的难度。

如何利用问答反馈来训练重写模型?效果怎样?

使用强化学习训练重写模型,以QA反馈作为监督信号,能够有效提高抽取式和检索式问答的性能,人工评估表明该方法能生成更准确和详细的重写,优于人工注释。

时序表格问答采用了什么方法?

时序表格问答采用了一种新方法,将表格编码为图,并使用指针网络从编码图中选择答案,在SQA任务上取得了竞争性的结果。

问答系统研究的发展趋势是什么?

对2016至2021年问答系统研究的回顾发现,多轮问答系统已取代单轮问答系统的主导地位,这表明了其在提高人工智能对话系统方面的重要性,并指出了未来研究方向。

问句重写作为预处理步骤在对话问答中有什么作用?

问句重写作为预处理步骤,可以弥补人类在对话中提出的带上下文依赖但自动化系统无法理解的问题,使用人工标注的CoQAR语料库实验证明了该方法能有效提高对话问答模型性能。

🏷️

标签

➡️

继续阅读