PCSR：已开源，三星提出像素级路由的超分辨率方法 | ECCV 2024 - 晓飞的算法工程笔记
内容提要
基于像素级分类器的单图像超分辨率方法（PCSR）是一种针对大图像高效超分辨率的新方法。它通过像素级别分配计算资源，处理不同的恢复难度，并通过更精细的粒度减少冗余计算。该方法还提供了使用K均值聚类进行自动像素分配以及后处理技术来消除伪影。实验证明，PCSR方法在多个基准测试中优于现有的块分配方法。
延伸解读
像素级分配：突破块级方法的效率瓶颈
传统块分配方法将图像分割为重叠块，并为每个块分配计算资源，但块内像素恢复难度可能不同，导致资源浪费或性能下降。PCSR 将分配粒度细化到像素级，为每个像素独立选择上采样器，从而更精准地分配计算资源，减少冗余计算。实验表明，在 Test2K/4K/8K 和 Urban100 等基准上，PCSR 在 PSNR-FLOP 权衡上优于块分配方法。
推理阶段的可调节性：无需重训练平衡性能与成本
PCSR 在推理时允许用户通过超参数 k 控制计算性能平衡。k 值较低时，更多像素分配给重型上采样器，性能更好但计算量增加；k 值较高时，更多像素分配给轻型上采样器，计算量降低但性能可能下降。这种灵活性使用户无需重新训练模型即可根据实际需求调整，适用于资源受限的设备或对实时性要求高的场景。
自动分配与后处理：提升易用性并消除伪影
PCSR 提供基于 K-means 聚类的自动像素分配功能，根据像素恢复难度自动分组并分配上采样器，简化了用户操作。此外，针对像素级分配可能导致的相邻像素伪影，论文引入后处理技术：当相邻像素分配给不同容量的上采样器时，对轻型上采样器输出的像素进行平滑处理。该后处理无需额外前向计算，能有效减少伪影且对整体性能影响极小。
Q&A
PCSR方法的主要特点是什么？
PCSR方法通过像素级分类器自适应分配计算资源，处理不同恢复难度，减少冗余计算，并提供可调节性以平衡性能和计算成本。
PCSR如何提高超分辨率处理的效率？
PCSR通过像素级别减少冗余计算，避免了传统块分配方法的效率降低问题，从而提高了超分辨率处理的效率。
PCSR在推断阶段如何控制计算性能？
在推断阶段，用户可以根据需要在不重新训练的情况下调整计算性能平衡，通过预先计算每个上采样器的FLOP影响来进行决策。
PCSR使用了哪些技术来消除伪影？
PCSR引入了一种后处理技术，通过对相邻像素的RGB值进行平均来消除可能由像素级计算分配引起的伪影。
PCSR与传统块分配方法相比有什么优势？
PCSR在多个基准测试中表现优于传统块分配方法，尤其在PSNR-FLOP权衡方面，能够更有效地处理大图像的超分辨率。
PCSR方法的应用领域有哪些？
PCSR方法在数字摄影、医学成像、监控和安全等多个领域有广泛应用，特别是在需要处理大规模图像的场景中。
