流式视频密集字幕

提出了一种新颖的密集视频字幕框架，通过建模视频事件的时间依赖性实现连贯叙述。

框架由事件序列生成网络和序列视频字幕网络组成，后者利用强化学习进行训练。

在 ActivityNet Captions 数据集上，该方法在大多数指标上表现出色。

联合建模方法将稠密视频字幕的两个子任务作为一个序列生成任务，展示了其可行性。

使用编码-解码模型实现视频数据到文本字幕的多对多映射，评估字幕准确性。

视频理解系统 MovieChat 通过引入记忆机制解决长视频处理中的挑战。

提出 Video ReCap 递归视频字幕模型，能够处理长达数小时的视频输入。

Vid2Seq 模型使用特殊的时间令牌扩展语言模型，实现密集事件字幕生成的最优性能。

新的密集视频字幕方法利用多模态信息描述事件，并使用自动语音识别系统获得文本描述。

针对视频字幕模型的解码问题，提出三种技术改进模型性能，显著提升了多个指标的结果。

提出简单有效的端到端稠密视频字幕生成框架 PDVC，提高了字幕的连贯性和可读性。

多模态记忆模型 (M3) 利用视觉和文本共享的记忆建模长期依赖关系，表现优于最先进的方法。