特徵工程的死亡?BERT 搭配 SQuAD 2.0 的語言特徵
原文中文,约300字,阅读约需1分钟。发表于: 。我们开发了一个整合了 BERT 和其他语言特征的端到端问题回答模型,结果表明这种模型能够改善 BERT 基础模型,EM 得分和 F1 得分分别提高了 2.17 和 2.14。我们的最佳单一模型在隐藏测试集上达到了 EM 得分 76.55 和 F1 得分 79.97。我们的错误分析还表明,语言结构可以帮助模型更好地理解上下文,从而纠正 BERT 模型将答案错误预测为 “无答案” 的情况。
通过比较特征工程和BERT模型在三个数据集上的表现,发现BERT模型在一个数据集上的准确度和F1分数提高0.03和0.05,表现优于传统分类器。因此,在该数据集上使用BERT模型值得投入时间和成本。