BriefGPT - AI 论文速递
·
PRG：基于提示的无标注蒸馏方法通过代理关系图
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究通过代理关系图方法提出了一种新的无标注监督模式，实现了选择性知识的蒸馏，提高了轻量模型在CIFAR-100和ImageNet-1K数据集上的准确率。
🎯
关键要点
- 本研究提出了一种新的无标注监督模式，解决了从大型基础模型到轻量模型知识提取的不足。
- 引入了代理关系图(PRG)方法，实现了选择性知识的蒸馏。
- 显著提高了轻量模型在CIFAR-100和ImageNet-1K数据集上的准确率。
- 充分利用了大型基础模型的知识基础，克服了其在聚焦学习中的局限性。
➡️
