OpenOmni: 为构建未来就绪的多模态对话系统而设计的协作开源工具
内容提要
该研究提出了一种新方法来评估代理程序生成可执行计算机任务的能力。尽管GPT-4在基准测试中表现最佳，但仅达到人类能力的15%。研究还探讨了对话型AI的互操作性框架，提出了OVON架构，以提高AI助手的交互能力。OmniFusion模型在视觉语言基准测试中表现优异，OmAgent系统提升了视频理解能力，OmChat模型在处理多模态输入方面表现出色，展示了其在长视频理解中的潜力。
延伸解读
评估基准揭示代理能力差距
OmniACT 数据集和基准测试为评估语言模型代理生成可执行计算机任务的能力提供了新方法。当前最强的 GPT-4 在基准测试中表现最佳，但仅达到人类能力的 15%，这突显了传统网络代理在生成可完成任务的可执行脚本方面面临的挑战。该基准测试为衡量和评估语言模型代理在自动化计算机任务方面的进展提供了平台，并激励未来研究构建大型语言模型和计算机屏幕视觉基础的多模态模型。
互操作性框架推动 AI 助手协作
研究分析了对话型 AI 多智能体互操作性框架，并描述了由开放语音互操作性倡议提出的 OVON 架构。该架构通过基于自然语言的通用 API，在各种对话型 AI 代理之间建立互操作性交互，包括聊天机器人、语音机器人、视频机器人和人类代理。此外，引入了一种新的发现规范框架，旨在通过标准清单发布和扩展的基于自然语言的 API 高效查找提供特定服务的代理。该架构具有泛化性，可通过开放存储库复制和访问，旨在显著提高跨平台的 AI 交互能力和可伸缩性。
多模态模型在视觉语言任务中表现突出
OmniFusion 模型基于预训练大型语言模型和视觉模态适配器，通过比较多种架构设计原则、图像编码方法和不同语言模型，在 8 个视觉语言基准测试中取得最高得分，提供不同领域中的高度详细答案，并提供了 Mistral-based 模型的开源解决方案。OmChat 模型通过动态视觉编码过程有效处理不同分辨率的图像，支持最大 512K 的上下文长度，在涉及多个图像和视频的任务中展现出有希望的性能，并超过了大多数开源模型。此外，提出了 Temporal Visual Needle in a Haystack 基准数据集，
系统与模型协同提升视频理解能力
OmAgent 系统能够在多模态环境下高效存储和检索视频帧，通过动态调用 API 和工具进行查询处理和准确性增强，确保鲁棒的视频理解并显著减少信息丢失。OmniDataComposer 方法引入协同处理和合并多模态数据输入的高效数据结构，促进模态间互相增强和跨模态数据校正，将视频输入转化为详尽的顺序文档，便于大型语言模型处理，为视频字幕创作和基于视频内容的问答任务提供宝贵洞察。这些进展共同推动了多模态对话系统在视频理解方面的能力。
Q&A
OpenOmni的主要目标是什么？
OpenOmni旨在构建未来就绪的多模态对话系统，提升AI助手的交互能力。
GPT-4在可执行计算机任务的基准测试中表现如何？
GPT-4在基准测试中表现最佳，但仅达到人类能力的15%。
OVON架构的主要功能是什么？
OVON架构旨在提高对话型AI助手的互操作性，支持多种AI代理之间的交互。
OmniFusion模型在视觉语言基准测试中的表现如何？
OmniFusion模型在8个视觉语言基准测试中取得了最高得分，展示了其应用潜力。
OmChat模型的特点是什么？
OmChat模型在处理长视频理解任务方面表现出色，支持最大512K的上下文长度。
OmAgent系统的功能是什么？
OmAgent系统能够高效存储和检索视频帧，提升视频理解能力。
