多语言场景的渐进式视觉语言知识蒸馏和对齐框架
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出了一个概念简单但有效的多语言 CLIP 压缩框架,并训练了一个轻量级的多语言视觉 - 语言模型 DC-CLIP,用于中文和英文环境。在零样本图像分类方面的综合实验表明,相比于现有的类似参数规模的模型,DC-CLIP 在英文环境中取得了优越的性能,在中文环境中表现出竞争性能,即使使用较少的训练数据。我们设计的训练机制证明了其有效性。
我们提出了一个概念简单但有效的多语言CLIP压缩框架,训练了一个轻量级的多语言视觉-语言模型DC-CLIP,用于中文和英文环境。DC-CLIP在英文环境中性能优越,在中文环境中表现竞争性能,即使使用较少的训练数据。训练机制证明了其有效性。