内容提要
MIT-IBM计算研究实验室团队研究发现,当前多模态基础模型看似具备多模态能力,实则理解不足,如GPT-4o难以定位特定物体,音频模型常不看音频而靠选项猜答案。团队开发新基准及弱监督、少标注数据的方法改进模型,例如用假名替换迫使模型关注视觉语境。未来将转向全双工语音对话系统研究,使模型边听边说,交互更自然。
延伸解读
多模态能力表象下的理解短板
文章指出,当前多模态基础模型看似能处理多种数据,实则理解不足。例如GPT-4o难以根据少量示例定位特定物体,音频模型在多项选择题中甚至不关注音频内容,仅凭选项猜测答案。这提醒读者,模型在基准测试上的高分可能掩盖了真实感知能力的缺失,评估时需警惕模型“走捷径”的行为。
弱监督与少标注数据的改进思路
面对标注数据昂贵的问题,MIT-IBM团队采用弱监督和少标注方法提升模型能力。例如用假名替换物体名称,迫使模型关注视觉语境而非依赖先验知识;在音频任务中,通过随机噪声测试发现模型未真正听音频,进而开发方法引导模型关注声音本身。这些技术为资源有限的研究者提供了可借鉴的路径。
全双工语音对话:更自然的交互方向
团队未来将转向全双工语音对话系统,使模型能边听边说,摆脱当前僵化的轮流对话模式。文章指出,这类模型更接近人类交流方式,但公开可用的系统在时间概念和知识深度上仍有欠缺。读者可关注这一方向如何解决现有对话系统交互不自然的问题,以及其与多模态研究的衔接。
Q&A
现有多模态基础模型在理解能力上存在哪些不足?
MIT-IBM计算研究实验室发现,当前多模态基础模型看似具备多模态能力,实则理解不足。例如GPT-4o难以根据少量示例定位特定物体;音频模型在多项选择题中常不关注音频内容,而是靠选项猜答案,甚至输入随机噪声仍能表现良好,说明模型可能只是在“游戏”问题而非真正理解。
研究团队如何用弱监督或少标注数据改进多模态模型?
团队开发了新基准和弱监督、少标注数据的方法。例如在IPLoc研究中,采用假名替换技术(如将“airplane”替换为“Elizabeth”),迫使模型关注视觉语境而非依赖已有知识;在音频研究中,开发方法让模型更关注音频内容,减少靠选项猜答案的行为。此外,还采用测试时强化学习等弱监督方式适配大模型。
IPLoc研究中的假名替换技术具体是如何工作的?
假名替换技术是在训练模型时,将目标物体的名称替换为一个无关的假名(如把“airplane”换成“Elizabeth”)。这样模型无法依赖先前学到的语义关联,必须更加关注视觉上下文来定位物体,从而提升少样本物体定位能力。
音频大语言模型在基准测试中存在什么“作弊”行为?
研究发现,许多音频大语言模型在多项选择题基准上并不真正听音频,而是直接根据选项猜测答案。例如问“音频中什么动物在吼叫?”选项有花栗鼠、狮子、鳄鱼等,模型可能不看音频就选“狮子”。甚至输入随机噪声时模型仍表现良好,表明它们主要关注问题文本而非音频内容。
团队未来在全双工语音对话系统方面的研究计划是什么?
团队计划转向全双工语音对话系统研究,使模型能够边听边说,更接近人类交互方式。这将摆脱当前 rigid turn-taking( rigid 轮流发言)模式,使交互更自然。目前公开的全双工模型在低层通信技能上尚可,但缺乏时间概念和知识深度,团队正致力于解决这些问题。
为什么团队选择改进现有模型而不是从头训练更大的模型?
团队缺乏从头训练超大基础模型的资源,因此选择利用现有公开模型,通过弱监督、少标注数据的方法进行适配和改进。同时,研究公开模型能发现即使大模型也存在弱点,解决这些局限比单纯扩大规模更有价值,且能促进模型自主学习。