量子位
·
AI模仿人类看漫画，视频大模型时序定位能力新SOTA
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
NumPro方法通过在视频帧中添加数字标识符，提升了视频大模型的时序定位能力。该方法无需训练，利用光学字符识别技术，准确关联视觉内容与时间线。实验结果表明，NumPro在多个基准测试中超越了现有最佳水平，对模型的通用理解能力影响较小。
🎯
关键要点
- NumPro方法通过在视频帧中添加数字标识符，提升了视频大模型的时序定位能力。
- 该方法无需训练，利用光学字符识别技术，准确关联视觉内容与时间线。
- NumPro将视频时序定位转化为直观的“翻阅漫画”式过程，使模型能够轻松读取事件时间线。
- 实验结果表明，NumPro在多个基准测试中超越了现有最佳水平。
- NumPro对模型的通用理解能力影响较小，适用于多种视频大语言模型。
- 研究团队通过精心设计字体大小、颜色和位置，优化了数字的可识别性。
- 经过微调的NumPro-FT在多个数据集上表现优异，展现出提升时序定位能力的潜力。
- NumPro在与微调结合时，始终优于传统微调方法，尤其在较长视频数据集上表现出色。
➡️
