用于长视频理解的自适应关键帧采样

本研究解决了多模态大语言模型在处理长视频时，由于视频帧数量庞大而导致的关键信息丢失问题。提出了一种名为自适应关键帧采样（AKS）的新算法，通过优化关键帧选择，最大化有用信息。实验证明，AKS在视频问答准确性上超越了强基准，为视频基础的多模态大语言模型的信息预过滤提供了重要见解。