量子位
·
AI看图一本正经胡说八道？「一拉一推」让模型看得全又准｜微软x清华
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
微软与清华提出BiPS模型，通过训练阶段教会模型关注关键视觉细节，解决视觉-语言模型在推理中的错误。BiPS利用“拉”和“推”机制，提升视觉理解能力，使模型在复杂任务中更准确地识别信息，推动通用智能的发展。
🎯
关键要点
- 微软与清华提出BiPS模型，旨在提升视觉-语言模型的推理能力。
- BiPS通过训练阶段教会模型关注关键视觉细节，解决视觉-语言模型在推理中的错误。
- 现有方法在推理阶段依赖外部提示，存在局限性，模型未能真正理解视觉世界。
- BiPS重塑模型的“看图方式”，在训练阶段教会模型识别重要视觉证据。
- BiPS采用一拉一推机制，确保模型既能看全相关证据，又能看准关键细节。
- 通过Evidence-Preserving View和Evidence-Ablated View，BiPS提升模型的视觉聚焦能力。
- 图表作为训练材料，提供高密度、高信息量的视觉场景，帮助模型学习聚焦关键线索。
- BiPS在13K训练样本上微调基础模型，显著提升了模型在多个评测基准上的表现。
- BiPS的成功表明，模型学会了可迁移的“看对地方”的能力，向通用智能迈进。
➡️
