计算机视觉正面临转变,将融入“感知-行动循环”。传统的3D重建等中间步骤将被淘汰,端到端的方法将成为主流。目前的挑战是缺乏足够的“感知-动作”配对数据,未来需通过新技术解决这一问题,以推动智能体的发展。
本研究提出了一种可扩展的图像声化框架,解决了音频到图像生成模型训练中音视频配对数据稀缺的问题。该方法利用现代视觉语言模型进行数据配对,训练出的模型性能与最先进技术相当,并展现出多种听觉能力。
完成下面两步后,将自动完成登录并继续当前操作。