当视频编码遇到多模态大型语言模型：视频编码的统一范式

本研究提出了一种新的参数共享方案，通过分解模态特定和模态共享部分，降低多模态转换器的参数。

提出了一种基于CNN嵌入空间的实例相似性负采样方法，支持从头训练模型，并在Kinetics-700上进行预训练演示。

开发了高分辨率视频-语言预训练模型HD-VILA，利用混合Transformer学习时空特征和文本特征的交互，取得了多个任务的最新结果。

提出了多模态预训练统一范式mPLUG-2，具有模块化设计，能够处理文本、图像和视频的多模态理解和生成任务。

引入了全面的多模式视频理解基准MVBench，评估多模态大型语言模型的时间理解能力，并开发了VideoChat2模型，性能超过其他领先模型。

提出了一种高效的视频分解方法，通过设计分词器将视觉和时间信息离散化，提升了视频、图像和文本内容的生成式预训练效果。

研究表明多模态潜在空间设计的可行性，并提出了一种优于行业标准的编解码器，首次在视频合成中实现语言模型超越扩散模型的突破。

介绍了Video-MME基准测试，用于评估多模态大型语言模型在视频分析中的性能，发现商业模型Gemini 1.5 Pro表现最佳。

提出了一种基于图像-文本-图像的语义级压缩方法，验证了不同模型的协同性能，强调了在超低比特率下优化多模态模型的方向。