该文汇总多模态视频理解研究，提出视频对话状态跟踪任务及VDTN基准，介绍ORViT对象视觉变换、LoViT长视频手术阶段分类、ViT-Lens全模态表示学习，并融合目标检测与OCR提升多模态大模型细粒度图像理解，减少虚构，在10项基准中9项超越先进模型。