MISC：基于大型多模态模型驱动的超低比特率图像语义压缩
内容提要
本文综述文本引导图像压缩的多模态方法，利用语义信息提升压缩性能，在极低比特率下改善视觉效果。相关研究涵盖双自适应掩膜、语义分割分层压缩、生成图像压缩及大规模多模态语义通信，通过语义一致性损失和条件生成对抗网络，在率失真性能和感知质量上超越现有技术。
延伸解读
语义引导压缩的核心思路
文章指出，文本引导图像压缩通过引入文本语义信息来指导压缩过程，核心包括图像-文本注意力模块和多模态语义一致性损失函数。这种方法能在极低比特率下获得较好的视觉效果，性能可媲美或超越现有技术。这为读者理解多模态压缩提供了关键切入点。
关键技术方法概览
文章综述了多种方法：双自适应掩膜结合贴片结构和纹理分布；基于深度语义分割的分层压缩将语义分割图编码为基础层；生成图像压缩EGIC能穿越失真-感知曲线；大规模多模态语义通信框架解决数据异构性等挑战。这些方法从不同角度提升了压缩性能。
性能优势与评估指标
文章提到，改进的神经压缩方法在CLIC2024验证集上相比MS-ILLM在FID指标下节省62%比特率；DSSLIC在PSNR和MS-SSIM上优于H.265/HEVC-based BPG；MLIC++在Kodak数据集上相比VTM-17.0降低12.44% BD率。这些数据表明语义压缩在率失真和感知质量上的潜力。
应用前景与挑战
文章提到，语义压缩可用于图像搜索和基于对象的自适应图像压缩等任务。同时，大规模多模态语义通信框架通过多模态对齐、个性化语言模型和信道状态估计来解决数据异构性、语义歧义和信号衰落等挑战。这些方向展示了语义压缩的实用价值，但也需应对多模态融合的复杂性。
Q&A
什么是文本引导图像压缩？
文本引导图像压缩是一种利用文本的语义信息来引导图像压缩过程的多模态机器学习方法，旨在实现更好的压缩性能。它通常采用图像-文本注意力模块和改进的多模态语义一致性损失函数，在极低比特率下获得较好的视觉效果。
双自适应掩膜（DA-Mask）方法在图像压缩中有什么作用？
双自适应掩膜（DA-Mask）方法结合了贴片结构和纹理分布，能够在极低比特率下有效压缩图像。结合预训练的掩膜自编码器（MAE）和LIC网络，提出的基于贴片图像建模（MIM）的掩膜压缩模型（MCM）在率失真性能、视觉质量和下游应用方面优于最新的同类研究。
DeepSIC是什么？它有哪些架构？
DeepSIC（Deep Semantic Image Compression）是一种深度语义图像压缩概念，提出了两种新颖架构，旨在重构压缩图像并同时生成相应的语义表示。第一种架构在编码过程中将一部分比特保留在压缩编码中存储语义表示进行语义分析；第二种在解码过程中使用嵌入到压缩码中的特征映射进行语义分析。
基于深度语义分割的分层图像压缩（DSSLIC）框架是如何工作的？
DSSLIC框架将输入图像的语义分割映射编码为比特流的基本层，并生成编码为第一个增强层的输入图像的紧凑表示，进而获得图像的粗略重构，并额外编码作为另一种增强层与输入图像的差值。该框架可以在RGB域的广泛比特率中在PSNR和MS-SSIM指标方面优于H.265/HEVC-based BPG和其他编解码器，并用于图像搜索和基于对象的自适应图像压缩等多项任务。
EGIC生成图像压缩方法有什么特点？
EGIC是一种新的生成图像压缩方法，能够从单一模型有效地穿越失真-感知曲线，并提出了一种隐式编码的图像插值变体，通过预测均方误差优化和GAN优化解码器输出之间的残差来控制基于GAN的重建结果。其性能优于多种以感知或失真为导向的比较方法，并几乎与失真端的VTM-20.0相媲美。EGIC实现简单、非常轻量级，并具有出色的插值特性，是应用于低比特范围的实际应用中有很大潜力的候选方法。
大规模多模态语义通信（LAM-MSC）框架解决了哪些挑战？
LAM-MSC框架利用大型人工智能模型构建，通过多模态对齐、个性化语言模型和信道状态估计相结合，解决了多模态语义通信中的数据异构性、语义歧义和信号衰落等挑战，并通过模拟实验验证了该框架的卓越性能。
