OLViT: 基于注意力嵌入的视频对话多模态状态追踪
内容提要
该文汇总多模态视频理解研究，提出视频对话状态跟踪任务及VDTN基准，介绍ORViT对象视觉变换、LoViT长视频手术阶段分类、ViT-Lens全模态表示学习，并融合目标检测与OCR提升多模态大模型细粒度图像理解，减少虚构，在10项基准中9项超越先进模型。
延伸解读
多模态视频理解的技术脉络
文章汇总了从2017年到2024年的多项研究，展示了多模态视频理解的技术演进。早期工作如基于外部记忆的一次学习视频物体跟踪，为后续复杂任务奠定基础。随后，ORViT通过对象级视觉变换增强时空表示，LoViT则针对长视频手术阶段分类融合多尺度时间信息。这些工作共同推动了视频对话状态跟踪等新任务的出现，体现了从单一模态向多模态融合的发展趋势。
视觉-语言追踪的进展与挑战
文章提到视觉-语言追踪任务，并介绍了通过异构架构搜索和模态混合器来改善解决方案。基于ConvNets的方法在SOTA追踪中表现出色，甚至超过部分Transformer模型。然而，该领域仍面临挑战，如复杂场景下的鲁棒性和多模态对齐问题。文章指出，未来需更多关注视觉-语言追踪，为多样化多模态消息追踪开辟可能性。
多模态大模型的细粒度理解增强
通过融合目标检测和OCR模型，多模态大模型在细粒度图像理解上得到提升，并减少了虚构现象。实验显示，改进后的模型在10个基准测试中有9个超越先进模型，平均得分最高提升12.99%。该方法保持了原始优势，并探索了检测模型的互换性。这表明结合外部检测信息是增强多模态大模型能力的有效途径，尤其在需要精确视觉理解的对话场景中。
Q&A
什么是视频对话状态跟踪任务？
视频对话状态跟踪是一项新的多模式对话状态跟踪任务，用于跟踪视频对话中提到的视觉对象的信息。
VDTN是什么？
VDTN是Video-Dialogue Transformer Network的缩写，是用于实现视频对话状态跟踪任务的基准模型。
ORViT如何提升视频理解性能？
ORViT通过融合早期层的对象间信息直接影响整个网络的时空表示，利用面向对象的自我关注和分离对象的动态特征来捕获物体及其动态交互，从而在多项任务和数据集上取得显著性能提升。
LoViT在手术视频分析中有什么优势？
LoViT是一种两阶段方法，融合短期和长期时间信息，使用多尺度时间聚合器结合本地和全局特征对手术相位进行分类，在两个手术视频数据集上表现最优。
ViT-Lens能处理哪些模态？
ViT-Lens通过使用预训练的ViT模型感知新颖形式的多模态数据，并与预定义空间对齐，实现全模态表示学习。例如在3D模态上，ViT-Lens在零样本3D分类任务中取得显著改进，并成功集成到InstructBLIP中实现零样本3D问答。
如何提升多模态大模型对细粒度图像的理解并减少虚构？
通过融合先进的目标检测和光学字符识别模型，在基于嵌入的方法中整合检测信息，可以改善多模态大型语言模型对细粒度图像的理解并减少回应中的虚构现象。实验表明，改进后的模型在10个基准测试中有9个超过了先进模型，平均得分最高提升12.99%。
