本研究提出了一种基于文本中心的多模态评估方法，旨在解决课堂话语评估的不足。通过注意力机制和多任务学习，评估自然话语、提问和解释的质量。结果表明，文本模态主导，音频特征提升了模型与人类评分的一致性，为自动评估课堂话语质量奠定了基础。

本研究对渐进摇滚音乐的复杂作曲和多样化乐器特征进行分类，采用音频特征提取和多种机器学习技术，最终实现76.38%的准确率。

本研究提出了一种新方法，通过结合音频特征与视觉信息，生成自然声音对应的视觉场景图像。该方法在VEGAS和VGGSound数据集上显著提高了生成效果，展示了对生成过程的控制能力，证明了其适用性和通用性。

本文介绍了一种多模态融合模型，通过分析视频和音频特征来识别口语句子的情感。该模型在CMUMOSEI数据集上取得了0.8049的F1得分，显示出光流特征和音频特征在情感预测中的优越性。研究还提出了多种情感分析方法和数据集，推动了情感计算的发展。

本研究提出了一种基于NeRF的网络，通过自监督学习提取音频特征，并采用对比学习方法，确保音频特征与口部运动的对齐，同时拆分与面部其他肌肉运动无关的部分。研究结果表明，该方法能够合成高保真度的谈话面孔视频，并在面部表情转移和口型同步方面达到最新的技术水平。

本研究利用多模态深度学习架构进行欺诈检测，提升了检测准确度。通过分析伪造声音和音频特征，提出了新的数据集和方法，揭示了现有模型的局限性，并呼吁改进语音转文字服务中的幻觉问题，以确保公平性。

本文提出了一种基于跨模态学习的深度伪造检测方法，通过融合音频和视觉特征，检测准确率和AUC分别达到98.6%和99.1%。该方法结合细粒度识别与二元分类，增强了在不同数据集上的检测能力，有效解决了模型的泛化问题，实现了对伪造视频段的准确识别。

该研究提出了一种空间对齐引导模型，能够在2D和3D中使用声音进行室内预测。该模型通过将音频特征与视觉连贯的可学习空间嵌入进行整合，在学生模型的多个层次中解决不一致问题。通过新的基准数据集DAPS，该方法在2D和3D中利用音频观测数据解决了全方位密集室内预测问题，在各种指标和骨干架构上始终取得了最先进的性能。