挖掘微比特每像素下语义图像压缩的极限
内容提要
该文综述深度学习图像压缩研究，涵盖迭代扩散模型与文本引导在极低比特率下重建逼真图像，压缩对分类、检测、分割准确度的影响及微调恢复，文本到图像生成模型、无监督压缩器和感知损失方法对感知与语义保真度的提升，以及医学影像压缩比可达300倍。
延伸解读
极低比特率下的生成式解码进展
文章提到，迭代扩散模型结合全局文本描述，能在极低比特率下重建逼真图像，且视觉质量对比特率的依赖性更低。这表明生成式模型正成为突破传统压缩极限的关键路径，但需注意其计算复杂度可能较高，实际部署时需权衡效率与质量。
压缩对视觉识别任务的影响与恢复
研究表明，当压缩比在0.1到2bpp之间时，强压缩会显著降低图像分类、目标检测和语义分割的准确度。不过，在压缩后的训练图像上微调识别模型，可以部分恢复性能损失。这提示实际应用中，若下游任务依赖压缩图像，微调是必要的补偿手段。
文本引导与无监督压缩的感知提升
文本引导的图像压缩利用语义信息指导编码，在极低比特率下取得优于或媲美先进方法的视觉效果。同时，无监督压缩器设计能在节省数据率的同时不降低下游分类性能。这些方法共同指向一个趋势：语义与感知保真度正成为压缩质量的新评价维度。
医学影像压缩的潜力与局限
基于全卷积自编码器和算术编码的医学影像有损压缩，在公开数据集上最高压缩比可达300倍。这一结果展示了深度学习在特定领域的高压缩潜力，但文章未提及临床验证细节，实际应用前仍需评估诊断信息的保留程度。
Q&A
在极低比特率下，如何重建逼真的图像？
通过使用迭代扩散模型进行解码，并结合全局文本图像描述来提供额外上下文，模型在极低比特率下能够重建逼真的图像，其视觉质量与以往方法相媲美，且对比特率的依赖性更低。
图像压缩对目标检测和语义分割的准确度有什么影响？
在强压缩下，图像分类、目标检测和语义分割的识别准确度都会受到显著影响。通过在压缩的训练图像上对识别模型进行微调，可以从一定程度上恢复性能损失。
文本引导图像压缩是如何工作的？
文本引导图像压缩是一种多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，采用图像-文本注意力模块和改进的多模态语义一致性损失函数，在极低比特率下获得较好的视觉效果，性能可媲美或超越最先进技术。
预训练的文本到图像生成模型能用于图像压缩吗？
可以。基于Billion-scale数据集预训练的文本到图片生成模型可用于图像压缩，并证明这些模型可以在很低的比特率情况下实现比学习压缩器更好的感知和语义保真度。
深度学习压缩中如何提升感知质量？
提出了Deep Perceptual Compression技术，通过在深度感知指标和MS-SSIM之间进行联合优化，相比先前的学习压缩方法和JPEG-2000具有更好的视觉效果，并且在目标检测等任务中表现更好。
医学影像压缩的最高压缩比是多少？
使用全卷积自编码器结合算术编码实现医学影像的有损压缩，在公开数据集上测试，最高压缩比可达300倍。
