全球首个多模态通才段位排行榜General-Level发布，采用五级段位体系评估多模态AI能力。目前无模型达到Level-5，GPT-4V等大多数为Level-2，标志着多模态AI研究的新阶段。

本研究提出GaussianProperty框架，结合SAM的分割能力与GPT-4V的识别能力，解决视觉数据中物理属性估计不足的问题，具有重要应用价值。

本研究探讨了多模态大语言模型中的跨模态一致性问题，并提出了定量评估框架。研究发现，尽管GPT-4V被视为统一模型，但其视觉和语言模态之间存在显著不一致，为模型设计改进提供了新见解。

本研究探讨了GPT-4V在时尚美学评估中的零样本性能，结果显示其预测与人类判断一致，但在相似颜色服饰的排名上存在困难，为机器学习在时尚领域的应用提供了新见解。

本文探讨了多模态智能体在设计生成和用户界面代码自动化方面的研究进展。研究表明，GPT-4V在视觉设计转代码任务中表现优异，但多模态模型在真实环境中完成复杂任务仍面临挑战。提出的Sketch2Prototype框架有效提升设计探索，UGround模型显著改善了GUI代理的环境感知能力。

研究提出GLIMO模型，通过代理世界模型收集和合成训练数据，提升大型语言模型在物理推理和机器人任务中的性能。实验表明，GLIMO显著提高了开源模型如LLaMA-3的表现，并具备与GPT-4竞争的潜力。研究还探讨了LLMs在机器人领域的应用，提出多模态GPT-4V结合自然语言和视觉感知来增强任务规划，提升机器人表现，并展望了未来LLMs的研究方向。

本研究比较了Gemini和GPT-4V在医学图像分类和分析中的表现，发现Gemini在分类任务上略优。研究强调了多模态大型语言模型在医学领域的潜力，并提出了评估方法以提高诊断准确性，同时探讨了LLMs在医疗应用中的价值和挑战，旨在推动人工智能与医学的整合。

GPT-4V是一种结合了文本和图像处理能力的AI模型，可用于图像描述和创意设计等应用。然而，它在准确性和幻觉方面仍存在局限性。它适用于自动图像筛选和创意工作，但不适用于精确的文本相关任务或复杂的图像。GPT-4V能够识别多个图像，并在医学成像和皮肤疾病诊断等各种场景中进行了测试。由于隐私问题，它不适用于人脸识别。

本研究评估了多模态大型语言模型GPT-4V在医学视觉问答中的表现。尽管其在医学图像处理上展现了一定潜力，但在疾病诊断和报告生成方面的准确性仍不足。研究建议改进评估方法，以提升模型在医学应用中的实用性和准确性。

研究表明，GPT-4V在将视觉设计转化为代码方面表现优异，生成的网页在视觉和内容上可替代49%的原始网页，并在64%的情况下表现更佳。通过深度学习和高质量数据集，代码生成精度超过77%，并提出多种自动化方法以提升用户界面代码的质量和效率。

本文探讨了使用GPT进行UI测试的可能性，介绍了目前UI测试存在的问题和两种解决方案。一种是使用GPT生成Webdriver驱动脚本，效果一般；另一种是结合Playwright、SoM视觉标记、GPT4Vison和AutoGen实现GPT像人一样思考和测试。文章还提到了一些问题和未来的想法。

大规模语言模型推动了人工智能，尤其在遥感领域。研究构建了高质量的遥感图像字幕数据集RSICap，促进了视觉语言模型的评估。SkyEyeGPT和EarthGPT等模型在遥感任务中表现优越，解决了专业知识缺乏的问题。

本文探讨了多模态模型在视觉推理中的应用，提出了VCoT方法和Thought可视化技术，显著提升了模型在几何和国际象棋等任务上的表现。研究表明，结合视觉与文本信息能有效改善推理能力，并设计了VisionGraph基准测试以评估模型在图论问题上的表现。实验结果显示，GPT-4V在多步推理中优于其他模型，且DPR链提高了逻辑准确性。

本文介绍了 TableVQA-Bench 基准，用于表格视觉问答，比较了多模态大型语言模型的性能，发现 GPT-4V 表现最佳。研究揭示了视觉输入处理的挑战，并提出了新的跨模态推理方法和框架 Solar，实验结果显示其在多个数据集上优于现有方法。

本研究评估了GPT-4V在癌症图像处理中的应用，发现其在组织亚型分类和乳腺肿瘤检测等任务中表现优异，且样本需求较少。研究表明，基于非领域特定数据训练的视觉语言模型可直接应用于医学图像处理，帮助非技术背景的医学专家。

本研究介绍了HQ-Edit数据集，包含约20万个高质量图像编辑。通过GPT-4V和DALL-E 3构建数据收集流程，生成高分辨率图像和详细文本提示。提出的评估指标Alignment和Coherence用于定量评估图像编辑质量。SEED-X模型提升了视觉语言理解能力，SmartEdit和iEdit方法在复杂指令下的图像编辑中表现优异，推动了相关领域的研究。

本文分析了多模态机制，探讨了GPT-4V等模型在视觉与语言任务中的表现，提出了“视觉描述提示”方法以提升视觉任务性能。回顾了视觉语言模型的应用、网络结构及预训练方法，提出了CoVLM框架和VaLM预训练框架，强调视觉与语言的结合，展示了在推理任务中的优势。

GPT-4V 是一种大型多模态模型，能够处理多种输入，尤其在社交媒体内容理解、情感分析和医学图像任务中表现出潜力。然而，在多语言理解和准确性方面仍面临挑战，特别是在医学应用中需要进一步改进以支持临床决策。

本文探讨了大型语言模型（LLMs）在零样本异常检测和多模态任务中的应用，特别是GPT-4V模型在视觉导航、行人行为预测及社交媒体内容理解方面的潜力。研究表明，LLMs能够有效执行图像分类和机器人控制任务，展现出在多样化场景中的应用前景。