关注真实世界的扰动!机器阅读理解中的自然鲁棒性评估

📝

内容提要

本研究旨在解决当前机器阅读理解(MRC)模型在真实场景中的鲁棒性评估不足的问题。我们提出了一种框架,通过使用维基百科编辑历史中的文本扰动,自动评估模型在自然扰动下的表现。研究结果表明,最先进的模型在遇到自然扰动时性能下降,提示研究人员关注这种真实的扰动类型,并提出通过训练增强模型的鲁棒性的方法。

➡️

继续阅读