本研究提出DeepResonance模型，解决音乐语言模型未充分利用图像、视频和文本特征的问题，显著提升六项音乐理解任务的表现，展示了辅助模态的优势。

本研究提出了一种新框架，通过利用辅助模态信息减少昂贵成像模态的测量，将逆问题转化为线性填充问题。实验结果表明，该方法在图像重建方面优于传统方法，大幅减少了对昂贵显微成像数据的需求。