AiSciVision：一个针对科学图像分类专业化大型多模态模型的框架

本研究提供了两个新的自然世界分类数据集iNat2021和NeWT，探索fine-grained类别的大规模表示和迁移学习的问题。

研究表明，基于ImageNet和iNat2021的有监督方法学习到的特征优于自我监督方法如SimCLR。

结合视觉语言模型（VLMs）与大型语言模型（LLMs）的迭代优化与视觉反馈方法显著提高了图像分类性能。

Multi是一个多模态大型语言模型（MLLMs）的先进基准测试，评估MLLMs在理解复杂图表和科学问题方面的表现。

通过自然语言交互减少人工标记工作量，提出了一个新框架用于快速定义概念并自动标记训练数据点。

SciFIBench是一个科学图表解释的基准测试，评估大型多模态模型在理解和解释图表方面的能力。

构建了一个多模态、多学科的数据集，对大型语言模型（LLM）和大型多模态模型（LMM）进行综合评估，结果显示这些模型在理解科学图表和内容方面面临挑战。

提出了一种新颖的VALE框架，结合可解释AI技术和先进语言模型，增强图像分类的可解释性。

创建了一个包含30,000幅图像和469,000个问答对的独特数据集VLM4Bio，评估了12种最先进的VLMs在生物图像分析领域的应用潜力。

针对社交媒体图像无标签分类的难题，利用大规模视觉模型和语言模型提供新的解决方案，经过微调的模型在理解人类与自然互动方面表现出色。

构建了一个包含1423张65种海洋哺乳动物的图像数据集，并对多种分类方法进行了评估，结果显示不同模型在分类性能上各有优劣。