Ziya-VL: 多任务指导微调的双语大型视觉语言模型

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了“文兰”项目的研究方向,使用BriVL预训练模型和跨模态对比学习框架,实现大规模多模态预训练。同时,建立了中文多源图像文本语料库RUC-CAS-WenLan,用于BriVL模型的预训练。实验结果表明,BriVL模型在各种下游任务中的性能优于UNITER和OpenAI CLIP。

🎯

关键要点

  • 文兰项目的研究方向是通过BriVL预训练模型和跨模态对比学习框架实现大规模多模态预训练。
  • 建立了中文多源图像文本语料库RUC-CAS-WenLan,用于BriVL模型的预训练。
  • 实验结果显示,BriVL模型在各种下游任务中的性能优于UNITER和OpenAI CLIP。
➡️

继续阅读