面向轻量化文图检索的 Dual-Encoder 模型蒸馏算法 ConaCLIP
原文中文,约3500字,阅读约需9分钟。发表于: 。ConaCLIP针对轻量化的图文检索任务进行设计,是一种通过全连接的知识交互图学习方式将知识从dual-encoder大模型中蒸馏到dual-encoder小模型的算法。
阿里云机器学习平台PAI与华南理工大学合作在ACL 2023上发表了一篇关于轻量化文图检索的论文。他们提出了一种名为ConaCLIP的算法,通过全连接的知识交互图将知识从大模型蒸馏到小模型。该算法包括模态内和模态间的教师-学生交互学习,并使用不同的监督策略来优化模型性能。实验结果表明,ConaCLIP相比现有方法和基准模型在文图检索任务上有显著改进。他们计划将该技术应用于阿里巴巴电子商务平台,并将其贡献给自然语言处理算法框架EasyNLP。