图文对比学习的发展史：从CLIP、BLIP、BLIP2、InstructBLIP到具身模型常用的SigLIP
💡
原文中文，约13500字，阅读约需32分钟。
📝
内容提要
本文介绍了图像生成技术的发展，重点讨论了CLIP和BLIP及其变体的结构与训练方法。CLIP通过对比学习实现图像与文本的匹配，BLIP结合理解与生成能力，提升多模态任务表现。BLIP2引入Q-Former模块，优化视觉与语言对齐，InstructBLIP增强指令遵循能力，适应不同任务需求。
🎯
关键要点
- 图像生成技术的发展，重点讨论CLIP和BLIP及其变体的结构与训练方法。
- CLIP通过对比学习实现图像与文本的匹配，具有强大的zero-shot分类能力。
- BLIP结合理解与生成能力，提升多模态任务表现，采用encoder-decoder结构。
- BLIP2引入Q-Former模块，优化视觉与语言对齐，分为表示学习和生成学习两个阶段。
- InstructBLIP增强指令遵循能力，适应不同任务需求，通过指令微调Q-Former模块。
- BLIP和BLIP2的训练数据来源于Web，采用Captioning and Filtering模块减少噪声。
- MiniGPT-4结合LLaMA微调的Vicuna与BLIP2，增加线性投影层以对齐视觉与语言模型。
➡️
