本研究探讨如何利用大型语言模型(LLM)知识训练较小的下游模型,特别是在表格数据学习中。我们提出了一种新方法,通过引入归因匹配正则化项,将LLM的全局任务特征融入小型网络训练,显著提升少样本学习性能,且易于集成,计算开销小。
完成下面两步后,将自动完成登录并继续当前操作。