MEGA: 电影视频分割的多模态对齐、聚合与蒸馏
原文中文，约300字，阅读约需1分钟。发表于：。本研究介绍了一种用于电影长视频分割的多模态对齐聚合与提取的方法（MEGA），该方法通过利用多个媒体模态来粗略对齐不同长度和不同模态的输入，并采用增强的瓶颈融合层和对比损失来保持时间同步并实现跨模态的标签转移与段落划分。实验结果表明，MEGA 在场景分割和片段分割方面优于现有的方法，在 MovieNet 数据集上平均精确度提高了 1.19％，在 TRIPOD 数据集上总一致性提高了 5.51％。
本研究提出了一种用于电影长视频分割的多模态对齐聚合与提取的方法（MEGA）。该方法通过多个媒体模态对齐输入，实现跨模态的标签转移与段落划分。实验结果表明，MEGA 在场景分割和片段分割方面优于现有方法。
