问答:让多模态基础模型实现更类人的交互与理解

问答:让多模态基础模型实现更类人的交互与理解

💡 原文英文,约1900词,阅读约需7分钟。
📝

内容提要

MIT-IBM计算研究实验室团队研究发现,当前多模态基础模型看似具备多模态能力,实则理解不足,如GPT-4o难以定位特定物体,音频模型常不看音频而靠选项猜答案。团队开发新基准及弱监督、少标注数据的方法改进模型,例如用假名替换迫使模型关注视觉语境。未来将转向全双工语音对话系统研究,使模型边听边说,交互更自然。

🔎

延伸解读

多模态能力表象下的理解短板

文章指出,当前多模态基础模型看似能处理多种数据,实则理解不足。例如GPT-4o难以根据少量示例定位特定物体,音频模型在多项选择题中甚至不关注音频内容,仅凭选项猜测答案。这提醒读者,模型在基准测试上的高分可能掩盖了真实感知能力的缺失,评估时需警惕模型“走捷径”的行为。

弱监督与少标注数据的改进思路

面对标注数据昂贵的问题,MIT-IBM团队采用弱监督和少标注方法提升模型能力。例如用假名替换物体名称,迫使模型关注视觉语境而非依赖先验知识;在音频任务中,通过随机噪声测试发现模型未真正听音频,进而开发方法引导模型关注声音本身。这些技术为资源有限的研究者提供了可借鉴的路径。

全双工语音对话:更自然的交互方向

团队未来将转向全双工语音对话系统,使模型能边听边说,摆脱当前僵化的轮流对话模式。文章指出,这类模型更接近人类交流方式,但公开可用的系统在时间概念和知识深度上仍有欠缺。读者可关注这一方向如何解决现有对话系统交互不自然的问题,以及其与多模态研究的衔接。

❓

Q&A

现有多模态基础模型在理解能力上存在哪些不足?

MIT-IBM计算研究实验室发现,当前多模态基础模型看似具备多模态能力,实则理解不足。例如GPT-4o难以根据少量示例定位特定物体;音频模型在多项选择题中常不关注音频内容,而是靠选项猜答案,甚至输入随机噪声仍能表现良好,说明模型可能只是在“游戏”问题而非真正理解。

研究团队如何用弱监督或少标注数据改进多模态模型?

团队开发了新基准和弱监督、少标注数据的方法。例如在IPLoc研究中,采用假名替换技术(如将“airplane”替换为“Elizabeth”),迫使模型关注视觉语境而非依赖已有知识;在音频研究中,开发方法让模型更关注音频内容,减少靠选项猜答案的行为。此外,还采用测试时强化学习等弱监督方式适配大模型。

IPLoc研究中的假名替换技术具体是如何工作的?

假名替换技术是在训练模型时,将目标物体的名称替换为一个无关的假名(如把“airplane”换成“Elizabeth”)。这样模型无法依赖先前学到的语义关联,必须更加关注视觉上下文来定位物体,从而提升少样本物体定位能力。

音频大语言模型在基准测试中存在什么“作弊”行为?

研究发现,许多音频大语言模型在多项选择题基准上并不真正听音频,而是直接根据选项猜测答案。例如问“音频中什么动物在吼叫?”选项有花栗鼠、狮子、鳄鱼等,模型可能不看音频就选“狮子”。甚至输入随机噪声时模型仍表现良好,表明它们主要关注问题文本而非音频内容。

团队未来在全双工语音对话系统方面的研究计划是什么?

团队计划转向全双工语音对话系统研究,使模型能够边听边说,更接近人类交互方式。这将摆脱当前 rigid turn-taking( rigid 轮流发言)模式,使交互更自然。目前公开的全双工模型在低层通信技能上尚可,但缺乏时间概念和知识深度,团队正致力于解决这些问题。

为什么团队选择改进现有模型而不是从头训练更大的模型?

团队缺乏从头训练超大基础模型的资源,因此选择利用现有公开模型,通过弱监督、少标注数据的方法进行适配和改进。同时,研究公开模型能发现即使大模型也存在弱点,解决这些局限比单纯扩大规模更有价值,且能促进模型自主学习。

🏷️

标签

➡️

继续阅读