BriefGPT - AI 论文速递
·
Retro: 用于轻量级模型的自监督学习中的高效嵌入蒸馏的教师投影头的重复利用
📝
内容提要
使用自监督学习 (SSL) 和对比约束以及一致性约束，从大量无标签数据中提取有效表示，并通过重用教师的投影头来改进轻量级模型，实验证明在所有轻量级模型上取得了显著的改进
🏷️
标签
➡️
