通过辅助损失优化编码器提高机器图像编码
内容提要
该文综述面向机器视觉的图像压缩研究，提出多种深度学习模型，包括无需额外信息的对象区域压缩、对抗训练微调解码器、Omni-ICM通用特征框架、Prompt-ICM任务提示协调、编解码与任务联合训练及端到端机器图像编解码器，在检测分割任务上优于VVC，并兼顾视觉质量与压缩效率。
延伸解读
机器视觉压缩的演进脉络
文章梳理了从2016年到2024年机器图像编码的研究进展，早期工作关注利用深度学习提升有损压缩的视觉质量，随后逐渐转向面向机器分析任务的编码优化。2021年提出的端到端编解码器首次在检测和分割任务上超越VVC标准，标志着该领域从单纯追求像素保真度转向任务驱动的压缩范式。
任务与压缩的协同优化策略
文章介绍了多种协调压缩与下游任务的方法，包括Prompt-ICM利用任务驱动提示调整压缩策略，以及编解码与任务网络的联合训练。这些方法的核心在于让压缩过程感知任务需求，从而在有限比特率下保持分析准确性。联合训练允许在部署限制下选择性微调编码器、解码器或任务网络，提供了灵活性。
通用特征框架的提出
Omni-ICM框架通过自监督学习和信息筛选模块，学习通用且紧凑的特征表示，可直接用于基于学习的编解码器支持多种AI任务。与传统编码器和基于学习的编解码器相比，Omni-ICM在多个基础视觉任务上表现更优，表明通用特征提取能有效提升压缩效率与任务性能的平衡。
视觉质量与机器精度的权衡
文章提到一种基于对抗训练的解码器微调方案，能在不增加推理比特率或参数的情况下显著提升视觉质量，甚至完全消除棋盘格伪影，而任务性能仅相对下降1.6%。这表明在机器消费为主的场景中，可以容忍一定伪影以换取更高的像素和特征保真度，为实际应用提供了权衡依据。
Q&A
什么是面向机器视觉的图像压缩？
面向机器视觉的图像压缩旨在降低图像表示所需的比特率，同时最大程度地减少机器视觉分析准确性的下降。
Omni-ICM 框架有什么特点？
Omni-ICM 是一个 Image Coding for Machines 框架，通过自我监督学习和信息筛选模块，学习通用且紧凑的全能特征，可直接用于基于学习的编解码器支持人工智能任务分析。与传统编码器和基于学习的编解码器相比，Omni-ICM 在多个基础视觉任务上表现出更好的性能。
Prompt-ICM 如何协调压缩和下游分析？
Prompt-ICM 通过学习任务驱动提示来协调压缩过程和下游分析，解决了压缩策略的调整和压缩特征的任务适应性两个核心挑战，进而以高压缩效率支持不同的智能任务。
联合训练编解码和任务网络有什么好处？
进行编解码和任务网络的联合优化可以显著提高任务准确性。在训练和部署的限制下，可以选择性地进行编码器、解码器或任务网络的微调，并仍然实现高于现成解决方案的速率和准确度。
基于对抗训练的解码器微调方案效果如何？
该方案能显著提高图像编码技术的视觉质量，同时保持机器分析准确性，无需在推理阶段增加额外的比特率或参数。实验结果表明，在忽略任务性能分数相对变化 -1.6% 的情况下，完全消除了棋盘格伪影。对于一些可容忍某些伪影的情况，该技术可以提高像素保真度和特征保真度分数，同时不影响任务性能。
端到端学习的机器图像编解码器在哪些任务上优于 VVC？
在目标检测和实例分割任务中取得了比 VVC 标准更好的表现。
