超图多模式大型语言模型：利用 EEG 和眼动传感器评估视频理解的异构响应
内容提要
本文介绍了Video-MME，这是评估多模态大型语言模型（MLLMs）在视频分析中性能的基准测试。研究表明，商业模型Gemini 1.5 Pro的表现优于开源模型。此外，文章探讨了情绪识别和脑电图（EEG）信号的应用，以及新数据集EIT-1M的有效性，强调了多模态模型在情感理解和视频合成中的潜力。
延伸解读
Video-MME 基准的评估维度与发现
Video-MME 是首个全方位多模态评估基准，从视频类型、时长、多模态输入和精确注释等维度评估 MLLMs。研究发现商业模型 Gemini 1.5 Pro 表现最佳，明显优于开源模型。这表明当前开源模型在处理长序列和多模态数据时仍有不足，需进一步改进。
EEG 情绪识别中的跨主题挑战与多模态方案
基于 EEG 的情绪识别面临个体脑解剖差异导致的跨主题挑战。研究开发了基于预训练模型的多模式情绪识别器，利用脑信号建模和空间-时间注意机制学习通用 EEG 表示，在公共数据集上优于现有方法，为神经信号处理中的情感研究提供了新思路。
EIT-1M 数据集推动 EEG 与多模态 AI 结合
EIT-1M 是一个包含 100 万个 EEG-图像-文本对的大规模多模态数据集，旨在解码视觉或文本刺激下的脑活动。该数据集支持 EEG 识别和 EEG 到视觉生成任务，并提供了数据质量评分以确保透明性，为多模态 AI 中脑信号的应用提供了重要资源。
多模态模型可解释性与情感理解进展
研究通过结合开放世界定位模型与多模态大型语言模型，增强了模型可解释性，能生成文本和物体定位输出，并识别幻觉和偏见。同时，EmoBench 和 EmoLLM 的引入提升了多模态情感理解性能，为人机交互、心理健康支持等应用提供了可能。
Q&A
Video-MME是什么？
Video-MME是评估多模态大型语言模型（MLLMs）在视频分析中性能的基准测试。
Gemini 1.5 Pro与开源模型相比表现如何？
Gemini 1.5 Pro的表现优于开源模型，显示出更好的性能。
EIT-1M数据集的特点是什么？
EIT-1M数据集包含100万个EEG图像-文本对，具备处理多模态信息的能力。
如何提升多模态大型语言模型的可解释性？
通过结合开放世界定位模型与多模式大型语言模型，提出了一种新的架构来增强可解释性。
多模态情感理解的应用有哪些？
多模态情感理解可应用于人机交互、心理健康支持和共情人工智能系统等领域。
脑电图（EEG）在情绪识别中的作用是什么？
脑电图（EEG）用于解码对视觉或文本刺激的脑活动，帮助情绪识别。
