基礎模型的低資源視覺挑戰
内容提要
该文综述基础模型在低资源与分布转变下的鲁棒性：hardBench显示模型与人类仍有差距；小样本微调CLIP的分布外表现优于纯视觉模型；多模态大模型低层视觉能力不稳定；医学基础模型覆盖通用到器官/任务特异；仅用文本训练可接近图像训练效果，图像标注等任务有望提升超9个百分点；遥感基准含六项分类与六项分割任务。
延伸解读
低资源下模型与人类仍有明显差距
hardBench 通过 11 个数据集（3 个 CV、8 个 NLP）评估模型在低资源学习困难场景下的表现，结果显示现有模型与人类性能水平之间仍存在较大的鲁棒性差距。这说明低资源并非单纯数据量问题，模型在分布转变下的泛化能力仍不足，读者应关注基准所揭示的弱点而非仅看平均分数。
小样本微调 CLIP 在分布外更稳健
针对训练数据有限且分布转变下传统迁移学习效果有限的问题，文章提出适用于 CLIP 的小样本微调方法，并在具有现实分布转变的基准上评估。实验表明，在训练数据供应的各个级别上，少样本 CLIP 微调在内部分布和外部分布准确性上均优于纯视觉模型，为真实数据小样本应用采用基础模型提供了依据。
多模态大模型的低层视觉能力尚不稳定
文章构建了低层视觉感知、低层视觉描述和视觉质量评估三个领域的综合基准，评估多模态大语言模型。结果发现模型具备基本低层视觉技能，但这些技能仍不稳定且相对不精确，需要针对性增强。这提示读者不能默认多模态模型在细粒度视觉任务上可靠，实际应用前应做专项验证。
文本训练可接近图像训练效果
文章探讨从文本数据学习高层次视觉技能并迁移到视觉任务，并在图像标注、视觉蕴含、视觉问答和视觉新闻四个任务上验证。仅用文本训练数据的模型性能接近仅用图像训练数据的模型，其中图像标注和视觉蕴含任务有望提升超过 9 个百分点。这为减少对人工标注图像数据的依赖提供了可行方向。
Q&A
hardBench 是什么？它主要用来评估什么？
hardBench 是一个更具挑战性的基准，包含 11 个数据集（3 个计算机视觉数据集和 8 个自然语言处理数据集），用于评估模型在低资源学习困难情况下的表现，揭示现有模型与人类性能水平之间仍存在较大的鲁棒性差距。
小样本微调 CLIP 在分布外数据上的表现如何？
实验证明，在训练数据供应的各个级别上，与只有视觉的模型相比，少样本 CLIP 微调在内部分布准确性和外部分布准确性方面表现更好，这为在使用真实世界数据的小样本学习应用中采用基础模型提供了强有力的动机。
多模态大语言模型在低层视觉感知方面的能力如何？
通过构建低层视觉感知、低层视觉描述和视觉质量评估三个领域的综合基准，评估发现多模态大语言模型具有基本的低层视觉技能，但这些技能仍不稳定和相对不精确，需要针对这些能力进行特定的增强。
医学基础模型有哪些不同类型？
医学基础模型的“光谱”从一般的视觉模型、模态特异性模型到器官/任务特异性模型，文章强调了它们的挑战、机会和应用，以提高医学图像分析的准确性和效率。
仅用文本训练数据能否在视觉任务上接近图像训练的效果？
实践证明，使用仅文本训练数据在图像标注、视觉蕴含、视觉问题回答和视觉新闻等四个代表性任务上建立的模型，性能表现接近仅使用图像训练数据建立的模型，尤其是针对图像标注和视觉蕴含任务的文本训练数据，有望超过 9 个百分点的提升。
遥感任务的基础模型研究提出了什么样的基准？
本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。
