基于 ROI 权重的学习图像压缩与比特分配
内容提要
该文综述学习型有损图像压缩研究，涵盖内容加权编码器-解码器与重要性掩模实现自适应比特率分配、基于Transformer与提示生成支持ROI及可变速率编码、兼顾感知质量与效率的改进模型（节省超25%比特率）、用于视频压缩的对抗学习、结合GAN的宽比特率高质量重建、面向视觉分析的率失真模型（节省最高28.17%比特率）、集成ROI掩模的Swin Transformer提升检测分割性能、以对抗训练提升感知品质的PO-ELIC，以及极低比特率下有效的双自适应掩膜。
延伸解读
ROI 压缩的演进：从内容加权到 Transformer
文章梳理了 ROI 压缩的技术路线：早期（2019年）通过内容加权编码器-解码器与重要性掩模子网实现局部自适应比特分配；2023年则转向基于 Transformer 的提示生成网络，同时支持 ROI 和可变速率编码。这一演进表明，ROI 压缩从依赖显式掩模子网，发展为利用 Transformer 的提示机制灵活控制码率与区域重要性，提升了编码的通用性和效率。
感知质量与比特节省的平衡
多个工作致力于在主观质量与编码效率间取得平衡。改进模型在相同主观质量下节省超过 25% 比特率；PO-ELIC 通过对抗训练（铰链对抗损失、Charbonnier 损失和样式损失）在更低比特率下达到与 HiFiC 相当的感知品质；GAN 结合的学习压缩在广泛比特率范围内实现视觉满意重建，甚至以超过 2 倍比特率优于先前方法。这些结果表明，感知导向的优化能显著提升压缩效率。
面向视觉分析的压缩：任务驱动的比特分配
文章特别提及面向视觉分析的率失真模型，通过机器学习确定每个编码单元的重要程度，并引入新的失真度量，在典型视觉分析任务中实现高达 28.17% 的比特率节约。此外，集成 ROI 掩模的 Swin Transformer 在 COCO 验证集上提升了目标检测和实例分割性能。这提示压缩系统可针对下游任务优化，而非仅追求像素级保真度。
极低比特率下的创新：双自适应掩膜
针对极低比特率场景，双自适应掩膜（DA-Mask）方法结合图像块结构与纹理分布，并联合预训练的掩膜自编码器（MAE）与 LIC 网络，构建基于掩膜图像建模的压缩模型（MCM）。该方法在率失真性能、视觉质量和下游应用方面均优于同类研究，为极低码率下的图像压缩提供了有效方案。
Q&A
基于ROI权重的学习图像压缩中，如何实现自适应比特率分配？
通过内容加权的编码器-解码器模型配合重要性掩模子网，进行局部自适应的比特率分配和控制。
有哪些方法支持ROI编码并同时实现可变速率？
基于Transformer学习的图像压缩系统，通过prompt generation网络支持ROI功能，并允许同时实现可变速和ROI编码。
改进的图像压缩模型在比特率节省方面表现如何？
与相同主观质量相比，节约了超过25%的比特率。
面向视觉分析的率失真模型能带来多少比特率节约？
在多个典型视觉分析任务中实现了高达28.17%的比特率节约。
Swin Transformer如何集成ROI掩模来提升视觉分析性能？
将二进制ROI掩模集成到不同层的网络中，提供空间信息指导，在ROI PSNR方面优于其他方法，并在COCO验证集上具有更好的目标检测和实例分割性能。
PO-ELIC模型如何提升感知品质？
通过采用对抗性训练技术，包括铰链形式的对抗损失、Charbonnier式损失和样式损失，在更低的比特率下提供了与HiFiC相当的感知品质。
