MIT-IBM计算研究实验室团队研究发现,当前多模态基础模型看似具备多模态能力,实则理解不足,如GPT-4o难以定位特定物体,音频模型常不看音频而靠选项猜答案。团队开发新基准及弱监督、少标注数据的方法改进模型,例如用假名替换迫使模型关注视觉语境。未来将转向全双工语音对话系统研究,使模型边听边说,交互更自然。
完成下面两步后,将自动完成登录并继续当前操作。