DoPAMine:从种子引导数据挖掘的领域特定预训练适应
发表于: 。本研究解决了大型语言模型在特定或低资源行业领域表现不足的问题。我们提出了一种自动化且可扩展的框架DoPAMine,通过挖掘特定领域的训练数据,增强了模型的适应能力。实验结果表明,该方法在医疗和金融领域的零-shot和5-shot场景中显著提高了预训练模型的性能,展现了其潜在的行业应用价值。
本研究解决了大型语言模型在特定或低资源行业领域表现不足的问题。我们提出了一种自动化且可扩展的框架DoPAMine,通过挖掘特定领域的训练数据,增强了模型的适应能力。实验结果表明,该方法在医疗和金融领域的零-shot和5-shot场景中显著提高了预训练模型的性能,展现了其潜在的行业应用价值。