ColorMNet：基于记忆的深度时空特征传播网络用于视频上色
内容提要
本研究提出了一种结合本地和全局策略的深度学习框架，用于视频颜色传播，增强稳定性和语义信息利用。新颖的多尺度特征传播网络（MFPNet）通过编码器-解码器结构和图卷积网络实现优异的分割效果，保持风格一致性，减少传播误差，生成高质量视频，实验结果显示其优越性。
延伸解读
技术背景与演进脉络
文章梳理了视频上色及相关视觉属性传播的研究脉络，从2016年可学习统一框架、2018年卷积空间传播网络，到2021年深度递归编码器-解码器框架、2023年端到端网络与ColorDiffuser，再到2023年MFPNet分割架构。这些工作逐步解决颜色传播的稳定性、语义利用和时间一致性问题，ColorMNet正是在此基础上结合本地与全局策略，试图进一步提升传播质量。
核心方法：本地与全局策略融合
ColorMNet采用结合本地和全局策略的深度学习框架。本地策略可能关注帧内或邻近帧的颜色细节，全局策略则利用长时序语义信息，两者互补以增强颜色传播的稳定性和语义信息利用。这种设计旨在减少误差累积，同时保持参考风格的一致性，从而生成高质量视频。
关键组件：MFPNet与GCN
多尺度特征传播网络（MFPNet）是ColorMNet的重要组成，其编码器-解码器结构配合柔性瓶颈残差模块，能探索深入且丰富的多尺度语义上下文。图卷积网络（GCNs）在瓶颈残差模块之间进行多尺度特征传播，提升分割效果。该设计使网络在保持风格一致性的同时减少传播误差，为视频上色提供更准确的语义指导。
实验表现与优势
实验结果显示，ColorMNet在定量和定性方面均优于现有技术。其优势体现在颜色传播更稳定、语义信息利用更充分、风格一致性更好，并能减少传播误差，最终生成高质量视频。这些结果验证了结合本地与全局策略以及MFPNet架构的有效性，为视频上色任务提供了新的解决方案。
Q&A
ColorMNet的主要功能是什么？
ColorMNet主要用于视频颜色传播，增强稳定性和语义信息利用。
多尺度特征传播网络（MFPNet）有什么特点？
MFPNet通过编码器-解码器结构和图卷积网络实现优异的分割效果，保持风格一致性，减少传播误差。
ColorMNet如何减少传播误差？
ColorMNet通过引入循环框架来统一语义对应和颜色传递步骤，从而减少积累的传播误差。
ColorMNet的实验结果如何？
实验结果显示ColorMNet在定量和定性方面均优于现有技术。
ColorMNet在视频处理中的应用有哪些？
ColorMNet可用于基于示例的视频着色，保持参考风格和时间一致性。
ColorMNet如何实现时间上的一致性？
ColorMNet通过引入时间一致性损失来强制协同着色历史，从而实现时间上的一致性。
