数字之力：通过每个示例使用四个对抗句进行微调的强大阅读理解
内容提要
该文综述机器阅读理解对抗评估研究：利用SQuAD对抗样本测试模型对语义语法错误的鲁棒性，提出AddSentDiverse算法使F1提升约36.5%；对抗训练可增强泛化能力，SQuAD 2.0微调显著提高鲁棒性；句子选择器减少训练与推理时间并提升精度；文档级问答经共享训练目标将F1从56.7提升至71.3；ParaphraseSampler改写攻击成功率更高；数据集修剪用10500样本优于全量训练。
延伸解读
对抗训练的价值与边界
文章指出，对抗训练不仅能提升模型对对抗样本的鲁棒性，还能增强对非对抗数据的泛化能力，甚至可以从比自身弱的模型标注数据中学习。但需注意，这些结论多基于SQuAD等特定数据集，且对抗样本的生成方式（如AddSentDiverse）可能影响效果。读者应关注对抗训练是否引入额外计算成本，以及在不同领域问答任务中的可迁移性。
数据效率的优化思路
两项研究展示了减少数据依赖的潜力：句子选择器通过选取最小上下文句子，在减少训练和推理时间的同时提升精度与鲁棒性；数据集修剪则用10500个样本训练ELECTRA，性能超过使用全部87000个样本的模型。这提示实际应用中可优先考虑样本质量而非数量，但需注意修剪方法依赖语句距离和词频分布度量，可能不适用于所有任务。
文档级问答的显著提升
将段落级模型适配到文档级输入时，采用共享标准化训练目标并从多个段落中选择样本，可使F1从56.7提升至71.3。这一提升幅度表明，训练目标的设计对文档级问答至关重要。不过，该方法依赖现有文档QA数据模型，且实验限于特定数据集，读者需留意其在不同文档结构和问题类型上的泛化表现。
鲁棒性评估的多样性
文章汇总了多种对抗评估手段：AddSentDiverse生成语义语法错误问题、ParaphraseSampler进行句子级改写攻击、以及针对预训练模型统计偏差的攻击方法。这些方法从不同角度揭示模型脆弱性，例如改写攻击成功率更高。读者应认识到单一对抗测试可能不足以全面评估鲁棒性，需结合多种攻击方式和数据集进行综合判断。
Q&A
AddSentDiverse算法在SQuAD数据集上提升了多少F1得分？
AddSentDiverse算法在Stanford问答数据集上实现了近36.5%的F1得分提升，并提高了模型的鲁棒性。
对抗训练对阅读理解模型的泛化能力有什么影响？
对模型进行对抗训练后，模型对非对抗训练数据仍有较强的泛化能力，并且模型仍然可以从比其弱的模型注释得到的数据学习。
在SQuAD 2.0上微调如何提高模型鲁棒性？
使用SQuAD 2.0中不可回答的问题对预训练语言模型进行微调，可以显著提高模型对对抗攻击的鲁棒性，并且SQuAD 2.0还会影响模型学习到的内容。
句子选择器如何减少训练和推理时间？
句子选择器通过选择最小的句子来喂养问答模型，从而实现训练和推理时间的显著减少，并提高精度和鲁棒性。
文档级问答中，共享训练目标将F1从多少提升到多少？
通过使用共享标准化训练目标，文档级问答模型的F1从56.7提升到71.3。
ParaphraseSampler相比基线攻击的成功率如何？
ParaphraseSampler比基线攻击成功率更高，许多重写的句子都被分类器误分类。
数据集修剪方法如何用更少样本达到更好性能？
通过测量语句间的距离和词频分布的协变距离，筛选出10500个有效样本，微调ELECTRA后性能优于使用全部87000个样本训练的模型。
