上下文化的 AD 叙述与交错的多模式序列
内容提要
本文提出了一种新型音频描述模型，利用预训练模型生成高质量的电影音频描述，解决了上下文依赖和数据不足的问题。同时，开发了MM-Narrator系统，能够在长视频中生成准确描述，并在多个评估指标上优于现有方法。此外，研究探讨了多模态技术在广告视频分析中的应用，提升了对广告内容的理解。
延伸解读
电影音频描述的技术演进
文章梳理了电影音频描述（AD）生成的技术发展脉络。早期工作（如2016年）构建了包含118,114个句子和202部电影剪辑的数据集，并指出AD比脚本描述更直观准确。2023年的研究则利用预训练模型和映射网络，解决AD对上下文依赖强和训练数据有限的问题。同年10月，新模型通过CLIP视觉特征、演职员表和对话时间位置，针对“谁、何时、什么”三个问题改进生成。这些进展显示AD生成正从数据驱动转向多模态融合。
MM-Narrator：长视频描述的新方案
MM-Narrator系统利用GPT-4进行多模态上下文学习，通过记忆增强生成过程，能以自回归方式为超过数小时的长视频生成准确音频描述。其基于复杂度的演示选择策略增强了多步推理能力。在MAD-eval数据集上，MM-Narrator在大多数情况下优于基于微调和基于LLM的方法。该系统还引入了首个基于片段的重复文本生成评估器，通过GPT-4全面评估生成性能，为长视频描述提供了新思路。
多模态技术在广告分析中的应用
广告视频分析是另一重要方向。研究提出了多模态多语言基准MM-AU，收集了超过8.4K个视频（147小时），从主题分类、感知色调转变和社会信息检测三个维度促进广告理解，并探索了基于LLM的零样本推理基线。实验证明，融合音频、视频和文本的多模态Transformer模型比单模态方法性能更优。此外，有系统通过场景分割和多模态标记实现广告视频结构化分析，在2021年TAAC竞赛中获得0.2470的高分。
Q&A
新型音频描述模型的主要功能是什么？
新型音频描述模型利用预训练模型生成高质量的电影音频描述，解决了上下文依赖和数据不足的问题。
MM-Narrator系统有什么特点？
MM-Narrator系统能够在长视频中生成准确的音频描述，并在多个评估指标上优于现有方法。
多模态技术在广告视频分析中的应用有哪些？
多模态技术通过分析音频、视频和文本等多种信号，提升了对广告内容的理解。
新模型如何解决电影音频描述中的挑战？
新模型通过引入角色库、时间位置和视觉特征的交叉注意力，解决了对话间隙和剧情理解的问题。
MM-Narrator系统的生成过程有什么创新？
MM-Narrator采用记忆增强生成过程和复杂度为基础的演示选择策略，增强了多步推理能力。
文章中提到的广告视频对电子商务有什么影响？
广告视频通过简洁的叙事结构扩大产品影响力，或提高对特定问题的关注。
