基于层次变分自编码器的图像传输学习
原文中文,约300字,阅读约需1分钟。发表于: 。本文提出了一种创新的层次联合源信道编码框架(HJSCC)用于图像传输,利用层次变分自编码器(VAE)。该研究通过动态调整传输带宽,提高了对不同信道噪声的适应性,并引入了速率注意模块,优化编码策略,从而在率失真性能方面超越了现有基线模型。
该文章介绍了DiffJSCC框架,利用预训练的文本到图像扩散模型提高信道传输图像的逼真度。实验证明该方法在感知度量方面优于常规方法和深度联合源信道编码方法,尤其在差信道条件和有限带宽下表现出色。DiffJSCC能以每像素不到0.008个符号的速度对768x512像素的Kodak图像进行高度逼真的重建。