See360：创新的全景视角插值
内容提要
该文汇总多项360度全景图像研究：基于扩散模型的圆形混合策略实现文本及单图生成全景图；NeO 360从单图重建户外场景；利用立体全景估计光照与几何；半监督学习改进室内布局；强化学习生成更具吸引力的全景图；单张卫星图合成时空一致全景视频；条件场景装饰生成家具布局；ZeroNVS实现单图新视图合成；PAVER学习视觉显著性；街景与卫星图对应生成新全景图。
延伸解读
从生成到重建：全景研究的多任务脉络
文章汇总的研究覆盖了全景图像生成、稀疏视图重建、光照与几何估计、室内布局、视频合成等多个方向。这些工作并非孤立，而是围绕全景数据“几何连续性”和“稀疏输入”两大难点展开。例如，扩散模型采用圆形混合策略保证生成全景的几何连续，NeO 360 则从单图重建户外场景。读者可借此理解全景视觉研究正从单一生成任务向多任务协同演进。
半监督与强化学习：降低数据与计算依赖
在室内布局估计中，半监督方法仅需 12% 的标记数据即可达到相近精度，说明有限标注下仍可进行三维感知。另一项工作利用强化学习旋转球形图像，以更少计算量生成更具视觉吸引力的全景图。这两项研究共同指向一个趋势：通过算法设计降低对大规模标注数据和昂贵计算的依赖，对实际部署具有参考意义。
跨视角合成：卫星图与街景的几何对应
文章提到两项跨视角工作：一是用单张卫星图和相机轨迹合成时空一致的全景视频，首次成功将跨视角图像合成为视频；二是建立街景全景图与卫星图像的几何对应关系，生成新颖街景全景图。这类方法的核心在于利用三维点云或几何对应保证一致性，为虚拟场景构建和地图增强提供了新思路，但文章未涉及具体精度或适用范围。
ZeroNVS 的启示：处理复杂背景与深度歧义
ZeroNVS 作为三维感知扩散模型，针对野外场景单图像新视图合成，提出相机条件参数化和归一化方案以解决深度尺度二义性，并引入“SDS anchoring”改善复杂背景的合成多样性。文章指出其在 DTU 零样本设置下取得 LPIPS 优势，并在 Mip-NeRF 360 基准上表现强劲。这提示读者，单图新视图合成正从受控场景走向复杂野外环境。
Q&A
如何用扩散模型生成360度全景图像？
文章提到一种基于扩散模型的360度全景图像生成技术，采用圆形混合策略保证几何连续性，并支持文本到全景图和单图像到全景图两个任务。
NeO 360是什么？它有什么特点？
NeO 360是一种用于稀疏视图合成的新方法，能从少至一张图像中重建360度户外场景，并且在探测期间无需优化大量视角。
如何从360度立体图像中估计光照和几何？
文章提出一种方法，利用全景图像获得场景详细几何信息，结合物理约束共同估计场景属性：重建近场光环境、用深度学习推断反射率和表面法线，并加入光照与几何的物理约束改进反射率，在增强现实应用中达到State of the art性能。
半监督学习如何改进室内布局估计？
研究探索半监督学习与三维室内布局重建的交叉领域，提出使用标记和未标记数据学习房间角和边界表示的方法，利用360度全景场景改进室内布局估计，实验表明仅需12%的标记数据即可达到同样精准的效果。
如何用单张卫星图像合成全景视频？
文章提出一种新方法，使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用3D点云表示场景，通过稠密三维到二维对应关系实现几何和时间一致性，并使用级联网络和两个Hourglass模块生成粗特征和细特征，最终生成逼真视频，实验结果显示超越现有方法，是首个成功将跨视角图像合成为视频的方法。
ZeroNVS是什么？它解决了什么问题？
ZeroNVS是一个三维感知扩散模型，用于野外场景下的单图像新视图合成。它通过训练生成式先验模型处理多物体场景和复杂背景，提出新的相机条件参数化和归一化方案解决深度尺度二义性，并提出SDS anchoring改善合成新视图的多样性。在DTU数据集零样本设置中取得新的LPIPS优势，甚至优于专门在DTU上训练的方法，并在Mip-NeRF 360数据集上展现出强大性能。
