本研究探讨了多模态转换器在音视频表示学习中的应用，提出了新的参数共享方案和实例相似性负采样方法。介绍了高分辨率视频-语言预训练模型HD-VILA及其在多个任务中的表现，并提出了多模态预训练统一范式mPLUG-2和视频分析基准Video-MME，强调了改进多模态理解和生成的必要性，展示了在视频合成和压缩任务中的优势。