通过感知一致性将特征表示转移到轻量级模型

本文针对如何将特征表示从大型教师模型转移到轻量级学生模型的问题，提出了一种新方法——感知一致性。该方法通过引入新的损失函数，关注特征空间中数据点间的相似性排名，使得学生模型能够更好地模仿教师模型对输入的感知。实验证明，该方法在特征表示转移方面的表现优于或与强基线方法持平。