通过增强压缩视频立方体实现高效视频理解的大型多模态模型

本研究解决了大型多模态模型在处理视频时存在的计算效率低下问题，尤其是针对具有不同时间信息密度的视频。论文提出了Quicksviewer，通过Gumbel Softmax方法将视频划分为不同的立方体，并统一重采样，实现了高效的视频理解。实验结果表明该模型在准确性上超过了基线，压缩率达到45倍，显示出其在视频分析中的重要潜力。