BetterDepth: 零样本单目深度估计的即插即用扩散精炼器
内容提要
本研究提出了一种基于稳定扩散的单目深度估计方法Marigold，利用生成模型的先验知识，在多个数据集上实现了先进性能。通过自监督框架MonoDiffusion和生成网络，解决了深度数据不足的问题，并在KITTI和Make3D数据集上表现优异。此外，ZeroDepth框架在不同域和相机参数下也取得了最佳成果，显著提升了深度估计的准确性。
延伸解读
扩散模型如何提升深度估计
文章指出，Marigold等方法利用稳定扩散模型中的先验知识，将深度估计建模为迭代去噪过程。这种生成式方法能处理尺度模糊和相机内参变化，在零样本场景下表现优异。例如，DMD方法在室内外数据集上相对误差分别降低25%和33%，且仅需少量去噪步骤。
自监督与数据不足的应对
针对真实深度数据缺乏的问题，MonoDiffusion通过伪真实扩散过程生成伪真实数据，并应用蒸馏损失和掩码视觉条件机制。在KITTI和Make3D数据集上，该方法超越了现有最先进竞争对手，展示了自监督框架在深度估计中的有效性。
跨域泛化与相机参数适应
ZeroDepth框架通过输入级几何嵌入和变分潜在表示，解耦编码器和解码器，能在不同域和相机参数下预测尺度。在NYUv2、KITTI等基准上，使用相同预训练模型取得最佳成果，优于需要域内训练或测试时缩放的方法，体现了强泛化能力。
高分辨率与真实场景的改进
PatchRefiner针对高分辨率真实场景，采用瓷砖分割和细节与尺度解耦的损失函数，结合合成数据，显著提升了深度估计的细节准确性和尺度估计。此外，Diffusion4D生成真实RGBD样本，在NYU和KITTI上降低了RMSE，表明生成数据能有效增强监督训练。
Q&A
Marigold方法在深度估计中有什么创新之处？
Marigold方法基于稳定扩散，利用生成模型的先验知识，解决了深度数据不足的问题，显著提升了深度估计的准确性。
ZeroDepth框架的主要优势是什么？
ZeroDepth框架能够在不同域和相机参数下进行深度估计，且在多个基准测试中取得了最佳成果。
MonoDiffusion框架如何解决深度数据不足的问题？
MonoDiffusion通过伪真实扩散过程生成伪真实数据，辅助深度估计，从而解决了缺乏真实深度数据的问题。
在KITTI和Make3D数据集上的表现如何？
在KITTI和Make3D数据集上，Marigold和MonoDiffusion均表现优异，超越了现有的最先进竞争对手。
如何提高单目深度估计的准确性？
通过使用自监督框架和生成网络，结合多样化的训练数据和有效的扩散参数化，可以显著提高单目深度估计的准确性。
PatchRefiner框架的主要功能是什么？
PatchRefiner框架用于处理高分辨率输入的度量单图深度估计，采用瓷砖分割方法和细节与尺度解耦的损失函数，显著提升了深度估计性能。
