MAMBA: 基于记忆库的视频目标检测的多级聚合
内容提要
该文综述记忆增强网络在视频任务中的应用：MEGA融合全局与局部信息提升视频目标检测；REMN以本地注意和动态记忆库改进半监督视频分割；MAMo用记忆与注意力增强单目视频深度估计；另有在线检测、视频语义分割、流引导特征聚合、视频人脸识别、交互式分割及3D检测等方法，多在DAVIS、YouTube-VOS、ImageNet VID等基准上取得领先性能。
延伸解读
记忆增强网络的多任务适应性
文章列举的MEGA、REMN、MAMo等方法虽分别用于视频目标检测、半监督视频分割和单目视频深度估计，但都依赖记忆机制存储并检索历史帧信息。这表明记忆增强并非某一任务的专用技巧，而是一种可跨任务复用的通用设计思路，用于弥补单帧模型缺乏时间上下文的不足。
效率与精度的权衡设计
多个方法明确关注计算开销：REMN强调较高推理速度和较少计算资源，在线检测模型用瓶颈LSTM在移动CPU上达到15 FPS，视频语义分割仅增加1.5ms推理时间。这说明记忆模块的设计需在保留历史信息与控制实时性之间取得平衡，而非单纯堆叠记忆容量。
基准性能的参考意义
文中方法多在DAVIS、YouTube-VOS、ImageNet VID、KITTI等公开基准上报告领先结果，例如MA-Net在DAVIS 2018验证集取得76.1%的J@60分数。读者可据此横向比较不同记忆聚合策略的效果，但需注意各方法任务与评测协议不同，跨基准的数值不宜直接等同。
Q&A
MEGA网络在视频目标检测中有什么创新？
MEGA网络融合了全局语义信息和局部定位信息，并通过新设计的长期记忆模块让关键帧可以获得比之前任何方法更多的内容，从而在ImageNet VID数据集上取得了最先进的性能。
REMN如何解决半监督视频物体分割中的问题？
REMN通过引入本地注意机制和动态记忆库，解决了非局部匹配和高时间冗余的问题，在DAVIS 2017和YouTube-VOS 2018上均取得最新成果，具有较高的推理速度和相对较少的计算资源。
MAMo框架如何提升单目视频深度估计的准确性？
MAMo通过内存和注意力框架，将单幅图像深度估计网络增强为视频深度估计模型。它利用内存储存先前时间实例的学习到的视觉和位移标记，通过自注意和交叉注意力结合当前视觉特征，最后输入解码器预测深度。在KITTI、NYU-Depth V2和DDAD等基准上，MAMo持续改进单目深度估计网络，并建立了新的最先进准确性标准，且与基于代价体积的最先进视频深度模型相比，在更低延迟下提供更高准确性。
有哪些方法在视频语义分割中利用了记忆机制？
文章提到一种新颖的神经网络模块，可以将现有的单帧语义分割模型转化为视频语义分割流水线，并将过去帧中的语义信息聚合到内存模块中，通过关注机制访问，融合当前帧编码改善Cityscapes数据集上的分割性能，仅增加1.5ms推理时间。
记忆聚合网络（MA-Net）在交互式视频对象分割中表现如何？
MA-Net通过将交互和传播操作整合到单个网络中，并提出简单有效的记忆聚合机制，大大提高了发现有挑战性感兴趣对象的鲁棒性。在DAVIS Challenge 2018基准验证集上，MA-Net在没有任何附加部分下达到了76.1%的J@60分数，超过了最先进的技术2.7%以上。
层次化记忆匹配网络（HMMN）在视频对象分割中取得了什么成果？
HMMN通过两个先进的记忆读取模块，在多个尺度上执行记忆读取并利用时间平滑，实现准确的内存检索，进而预测详细的对象遮罩。在DAVIS 2016/2017、YouTube-VOS 2018/2019验证集以及DAVIS 2017测试集上，HMMN都取得了最先进的性能。
