低标注预算约束下领域特定问答精调策略
内容提要
该文综述问答系统研究：有限预算下应全用于数据标注，预算充足时需平衡标注与领域预训练；主动学习可降低标注成本。其他方法包括机器翻译数据增强、语言对抗训练提升跨语言迁移、提示与线性探针微调增强泛化、无监督伪数据训练及知识图谱对齐的两阶段框架，均在SQuAD等基准上显著提升。
延伸解读
预算分配的关键转折点
文章指出，在低标注预算下，将全部资金用于数据标注能获得最佳性能；但当预算足够大时，平衡数据标注与领域内预训练会更有效。这意味着资源有限时，应优先保证标注质量与数量，而非分散投入预训练；预算充裕后，才值得考虑领域预训练以进一步提升效果。
主动学习降低标注成本
文章提到主动学习策略可降低标注成本，并研究了随机选择不同子集训练数据时微调效果存在巨大变化。这提示在实际操作中，数据选择策略对有限预算下的模型性能影响显著，主动学习能帮助筛选更有价值的样本，从而在相同标注预算下获得更好效果。
跨语言与泛化增强手段
文章综述了多种提升问答系统性能的方法：机器翻译数据增强、语言对抗训练和语言仲裁框架可显著提高零资源跨语言迁移性能；提示与线性探针微调结合能增强生成与判别模型的泛化能力，尤其在跨领域QA任务上表现优异。这些方法为不同场景下的模型优化提供了参考。
无监督与知识图谱融合
文章还介绍了无监督训练QA模型的方法，通过生成伪数据在SQuAD上获得14%的F1相对提升，答案为命名实体时提升20%。此外，FiTs框架通过对齐预训练语言模型与知识图谱表示，在多个常识与医学QA基准上达到最优。这些方法展示了在标注数据有限时，利用无监督信号和外部知识提升性能的潜力。
Q&A
在标注预算有限的情况下，应该优先把钱花在数据标注还是领域预训练上？
研究表明，小预算情况下，全部资金用于数据标注可以获得最好的性能表现；但预算足够大时，在数据标注和领域内预训练之间进行平衡会更好。
主动学习如何帮助降低问答任务的标注成本？
文章探究了主动学习策略在降低标注成本方面的有效性，通过主动选择最有价值的样本进行标注，从而在有限预算下减少标注需求。
有哪些方法可以提升多语言问答的跨语言迁移性能？
可以使用机器翻译生成的数据增强原始英语训练数据，以及采用语言对抗性训练和语言仲裁框架两种新策略，这些策略显著提高了零资源的跨语言转移性能，并在MLQA和TyDiQA数据集上优于之前的零样本基线。
如何提高问答模型在跨领域任务上的泛化能力？
通过结合提示方法和线性探针微调策略，可以提出一种新颖的方法，有效提高生成模型和判别模型的泛化能力，特别在跨领域问答任务上表现优异。
无监督训练问答模型时，如何生成伪数据并提升性能？
通过对相关检索到的句子应用简单模板生成问题（而非使用原始上下文句子），从而生成伪数据训练QA模型，使模型学习更复杂的上下文问题关系。在SQuAD数据集上获得14%的F1分数相对提高，答案为命名实体时提高20%，实现无监督QA的最新性能。
知识感知问答中，FiTs框架是如何工作的？
FiTs（Fine-grained Two-stage training framework）框架通过对齐预训练语言模型和知识图谱中的表示来提高模型性能，通过两个自监督任务对模型进行微调，在CommonsenseQA、OpenbookQA和MedQA-USMILE三个基准测试中都达到了最优表现。
