实时视频超分辨率：端侧 SR 模型从训练到上屏
内容提要
本文介绍端侧视频超分实战：在手机16ms帧预算内，将480p视频实时放大到1080p。采用约20K参数的轻量ESPCN模型，INT8量化后仅100KB，经ONNX转CoreML/TFLite部署，复用推理引擎逐帧处理，并利用帧间相似性只对变化区域超分以节省算力。文末记录内存抖动、颜色发白、首帧黑屏、量化伪影等踩坑与修复方案。
延伸解读
端侧视频超分的核心约束
文章指出，端侧超分的主要难点在于严格的帧预算：30fps下每帧仅33ms，超分需在10ms左右完成。同时，模型体积和算力也受限。因此，选择轻量CNN（如ESPCN）并利用帧间连续性，比堆叠大模型更符合实时视频场景。
模型选型与部署优化
文章对比了轻量CNN、重SR和高效重SR三条路线，认为视频超分应优先考虑轻量CNN。ESPCN参数量约20K，INT8量化后仅100KB，适合端侧。部署时需注意复用推理引擎、预分配buffer，避免每帧新建interpreter导致内存抖动和掉帧。
帧间复用节省算力
视频相邻帧高度相似，文章提出只对变化区域做超分，静止区域复用上一帧结果。通过帧差检测生成变化掩码，仅对超过阈值的块重新超分，可显著减少计算量，适合实时处理。
常见问题与修复
文章记录了六个典型问题：内存抖动导致越跑越卡、归一化不一致导致颜色发白、未warmup导致首帧黑屏、INT8量化引入伪影、动态shape使ANE不工作、4x放大计算量过大。修复方案包括复用引擎、统一归一化、启动warmup、校准量化、固定输入shape以及级联两次2x。
Q&A
端侧视频超分为什么不能直接用云端超分方案？
云端方案需要上传每帧画面，流量和隐私都扛不住，而端侧超分可以在本地实时处理，避免这些问题。
在手机上实现实时视频超分，主要面临哪些挑战？
核心矛盾是算力与画质的平衡：大模型效果好但慢，小模型快但糊；实时预算紧张，30fps下一帧只有33ms，留给超分约10ms；模型体积大，动辄几十MB，给App体积带来压力。
端侧视频超分有哪些技术路线？各自特点是什么？
主要有三条路线：轻量CNN（如ESPCN/FSRCNN，参数量5~50K，帧耗时3~8ms，效果中等，适合实时视频）；重SR（如SRGAN/ESRGAN，参数量1M+，帧耗时100ms+，效果好，适合离线照片）；高效重SR（如Real-ESRGAN-small，参数量300K，帧耗时15~30ms，效果较好，适合半实时）。
为什么视频超分适合用轻量CNN加帧间复用，而不是堆大模型？
因为视频能利用时域连续性（前后帧信息），且对单帧瑕疵容忍度高，所以用轻量CNN加帧间复用比堆大模型更划算。
如何利用帧间相似性来节省超分算力？
只对变化区域做超分，静止区域复用上一帧的超分结果。可以通过帧差检测实现：对低清帧之间做像素差，超过阈值的块才进SR。
端侧视频超分部署时有哪些常见坑？如何修复？
常见坑包括：越跑越卡（每帧new Interpreter导致内存抖动，应复用interpreter并预分配buffer）；颜色发白（归一化/反归一化范围不对，应统一训练与推理的[0,1]约定）；首帧黑屏（模型未warmup，应启动时跑一次空输入warmup）；绿边/伪影（INT8量化损失且无校准，应使用校准集量化，边缘任务用FP16）；ANE不工作（动态shape导致，应固定输入shape）；放大4x崩（计算量平方级增长，应拆成两次2x级联）。
