教师嵌入的线性投影用于少类蒸馏
原文中文,约300字,阅读约需1分钟。发表于: 。该研究解决了知识蒸馏在二分类和少类问题中表现不佳的难题,提出了一种新颖的方法——学习嵌入线性投影(LELP),通过识别教师嵌入空间中的信息性线性子空间,并将其拆分为伪子类,来指导学生模型学习。这项工作在亚马逊评论和Sentiment140等大型NLP基准上的评估显示,LELP方法在少类任务中相比现有最先进的蒸馏算法更具竞争力且通常优于它们。
该研究提出了一种新方法——学习嵌入线性投影(LELP),用于改善知识蒸馏在二分类和少类问题中的效果。LELP通过识别教师模型嵌入空间中的信息性子空间,并将其分解为伪子类,指导学生模型学习。在亚马逊评论和Sentiment140等大型NLP基准测试中,LELP在少类任务上优于现有蒸馏算法。