量子位
·
AI看图一本正经胡说八道？「一拉一推」让模型看得全又准｜微软x清华
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
微软与清华提出BiPS模型，通过训练阶段教会模型关注关键视觉细节，解决视觉-语言模型在推理中的错误。BiPS利用“拉”和“推”机制，提升视觉理解能力，使模型在复杂任务中更准确地识别信息，推动通用智能的发展。
🎯
关键要点
- 微软与清华提出BiPS模型，旨在提升视觉-语言模型的推理能力。
- BiPS通过训练阶段教会模型关注关键视觉细节，解决视觉-语言模型在推理中的错误。
- 现有方法在推理阶段依赖外部提示，存在局限性，模型未能真正理解视觉世界。
- BiPS重塑模型的“看图方式”，在训练阶段教会模型识别重要视觉证据。
- BiPS采用一拉一推机制，确保模型既能看全相关证据，又能看准关键细节。
- 通过Evidence-Preserving View和Evidence-Ablated View，BiPS提升模型的视觉聚焦能力。
- 图表作为训练材料，提供高密度、高信息量的视觉场景，帮助模型学习聚焦关键线索。
- BiPS在13K训练样本上微调基础模型，显著提升了模型在多个评测基准上的表现。
- BiPS的成功表明，模型学会了可迁移的“看对地方”的能力，向通用智能迈进。
❓
延伸问答
BiPS模型的主要目标是什么？
BiPS模型旨在提升视觉-语言模型的推理能力，特别是通过训练阶段教会模型关注关键视觉细节。
BiPS模型是如何解决视觉-语言模型的推理错误的？
BiPS通过在训练阶段教会模型识别重要视觉证据，避免在推理阶段依赖外部提示，从而减少错误。
BiPS模型的“一拉一推”机制具体是怎样的？
“一拉一推”机制包括先将模型的视线拉回所有相关证据，再推向真正关键的细节，以确保模型既能看全又能看准。
BiPS模型在训练中使用了什么样的材料？
BiPS模型使用图表作为训练材料，这些图表提供高密度、高信息量的视觉场景，帮助模型学习聚焦关键线索。
BiPS模型的训练效果如何？
在13K训练样本上微调后，BiPS模型在多个评测基准上显著提升了性能，平均准确率提高了7.3%。
BiPS模型的成功对通用智能有什么影响？
BiPS模型的成功表明，模型学会了可迁移的“看对地方”的能力，向通用智能的发展迈出了关键一步。
➡️
