BriefGPT - AI 论文速递
·
推荐模型扩展时的嵌入器溃缩问题研究
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该文介绍了一种名为MLET的技术，通过跨类别学习训练嵌入层的分解来产生优越嵌入。在多个点击率预测任务的推荐模型上进行测试时，MLET始终产生更好的模型，特别是对于罕见的项目。MLET允许模型的嵌入维度和模型大小分别减少高达16倍和平均减少5.8倍。
🎯
关键要点
- 现代基于DNN的推荐系统依赖于对稀疏特征进行训练得到的嵌入。
- 稀疏性使得对于罕见类别难以获得高质量的嵌入。
- MLET是一种通过跨类别学习产生优越嵌入的技术。
- MLET使用嵌入层的分解来训练嵌入，内部维度高于目标嵌入维度。
- MLET将经过训练的双层嵌入转换为单层嵌入，以提高推理效率。
- 在多个点击率预测任务中，MLET始终产生更好的模型，尤其是对于罕见项目。
- MLET允许模型的嵌入维度和模型大小分别减少高达16倍和平均减少5.8倍。
➡️
