3B模型逆袭7B巨头！Video-XL-Pro突破长视频理解极限，大海捞针准确率超98%
内容提要
Video-XL-Pro模型由联合研究团队推出，突破了超长视频理解的瓶颈，单卡处理近万帧视频，准确率超过98%。该模型采用重构式token压缩技术，使用少量数据训练，性能超越多个7B模型，展现出卓越的长视频理解能力，已开源以促进相关研究。
延伸解读
技术创新的意义
Video-XL-Pro模型采用的重构式token压缩技术（ReCoT）显著提升了视频理解的效率和质量。这种创新不仅解决了超长视频处理中的性能瓶颈，还为未来的多模态模型设计提供了新的思路，可能推动整个领域的进步。
应用场景的广泛性
Video-XL-Pro在多个长视频理解评测基准上表现优异，显示出其在实际应用中的广泛潜力。无论是在视频监控、内容推荐还是教育培训等领域，该模型都可能成为提升视频理解能力的重要工具。
训练效率的提升
该模型在训练过程中采用了视频数据集剪枝策略，显著降低了计算成本。这一策略不仅提高了训练效率，也为资源有限的研究团队提供了可行的解决方案，促进了长视频理解技术的普及。
Q&A
Video-XL-Pro模型的主要创新点是什么？
Video-XL-Pro模型的主要创新点是采用了重构式token压缩技术（ReCoT），通过自监督学习生成紧凑的视频token，显著提升了视频理解的效率和质量。
Video-XL-Pro在长视频理解方面的表现如何？
Video-XL-Pro在多个主流长视频理解评测基准上表现优异，准确率超过98%，并在MLVU和TempCompass等评测中获得第一名。
Video-XL-Pro如何处理超长视频？
Video-XL-Pro通过引入查询选择器和重构式token压缩技术，能够处理8192帧的输入，并在相同硬件条件下实现近99%的准确率。
Video-XL-Pro与7B模型相比有什么优势？
Video-XL-Pro在仅使用3B参数的情况下，性能超越了多个7B模型，包括Meta的Apollo-7B，展现出更高的效率和准确性。
Video-XL-Pro的训练数据需求如何？
Video-XL-Pro使用的训练数据相对较少，仅为1M，低于其他7B模型的训练数据需求，显示出其高效性。
Video-XL-Pro的开源情况如何？
Video-XL-Pro的模型、代码和训练数据均已开源，以促进长视频理解领域的研究和合作。
