OPa-Ma：360 度图像外扩中的文本引导 Mamba
内容提要
本文介绍了基于Mamba模型的图像处理方法，包括自回归全方位感知生成网络（AOG-Net）和Dream360框架，旨在提升360度图像的生成和扩充质量。这些方法在多个数据集上表现优异，具有良好的定制化和灵活性，推动了计算机视觉的发展。
延伸解读
Mamba 在视觉任务中的多样化应用
文章展示了 Mamba 模型在多个计算机视觉任务中的广泛应用，包括图像融合、图像质量评估和图像表示学习。例如，LE-Mamba 在多光谱和高光谱图像融合上达到最先进水平，FusionMamba 用于多模式医学图像融合，Q-Mamba 则针对图像质量评估任务。这些应用表明 Mamba 不仅限于序列建模，还能处理复杂的视觉任务，并具备良好的泛化能力。
360 度图像生成的技术演进
从 2022 年到 2024 年，360 度图像生成技术不断演进。早期方法如基于 Transformers 和 CompletionNets 的自动场景建模，注重提升图像质量和感知自然性；随后 AOG-Net 引入文本指导和不完整视野生成，增强编辑灵活性；Dream360 则考虑球面特性，通过两阶段学习实现高保真、高分辨率全景图生成。这些进展体现了对 360 图像特殊性的深入理解。
文本引导与定制化生成趋势
文章多次提到文本引导在图像生成中的作用。AOG-Net 利用文本指导生成细粒度且与文本一致的模式；另一项工作利用多模态大语言模型提取文本描述，并通过交叉注意力模块增强空间区域与文本提示的交互，实现定制化图像外延。这表明文本引导正成为提升生成结果可控性和定制化能力的关键手段。
Q&A
AOG-Net是什么，它的主要功能是什么？
AOG-Net是自回归全方位感知生成网络，通过不完整的360度图像生成细粒度模式，提升编辑灵活性。
Dream360框架是如何提升360度图像生成质量的？
Dream360框架基于变换器，考虑360图像的球面特性，通过两个关键学习阶段实现高保真、高分辨率的全景图生成。
Mamba模型在计算机视觉领域的应用有哪些？
Mamba模型被应用于图像、视频、点云和多模态等多个计算机视觉任务，推动了该领域的发展。
LE-Mamba网络在图像融合任务中表现如何？
LE-Mamba网络在多光谱和高光谱图像融合任务中取得了最先进的结果，证明了其有效性。
Q-Mamba模型的主要功能是什么？
Q-Mamba模型用于图像质量评估，提出了StylePrompt调整范式以提高可迁移性。
Mamba模型的研究对计算机视觉领域有什么影响？
Mamba模型的研究引起了学术界对当前挑战的关注，并推动了计算机视觉领域的进一步发展。
