从世界到代码:通过自我指导的组合式标题生成和过滤实现多模态数据生成
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了一种名为JADE的新方法,利用多模态模型生成和过滤视觉问答及密集字幕数据集。应用于CC3M数据集,生成了CC3M-QA-DC数据集。通过多任务预训练,CC3M-QA-DC在下游任务中提升了多种网络的性能,并在相同计算条件下与使用更多数据的模型相比取得了竞争力的结果。
🎯
关键要点
- 提出了一种名为JADE的新方法,利用多模态模型生成和过滤视觉问答及密集字幕数据集。
- 该方法应用于CC3M数据集,生成了CC3M-QA-DC数据集。
- 通过多任务预训练,CC3M-QA-DC提升了多种网络在下游任务中的性能。
- 在相同计算条件下,CC3M-QA-DC与使用更多数据的模型相比,取得了竞争力的结果。
🏷️
标签
➡️