低标注预算约束下领域特定问答精调策略

BriefGPT - AI 论文速递 · 2024-01-17T00:00:00Z

本研究分析了不同QA数据集上的微调策略性能，发现传统的基于预训练语言模型和微调策略在低预算下次优。最佳策略是使用预训练语言模型与目标数据集和SQuAD数据集微调，性能优于标准策略2.28%至6.48%。对QA从业者在低预算下微调QA系统具有实用价值。