MegaScenes：大规模场景级别视图合成
内容提要
本文介绍了DL3DV-10K数据集，包含来自10,510个视频的51.2百万帧，涵盖65种场景。研究评估了最新的NVS方法，强调了大规模数据集在学习三维表示中的重要性。同时，提出了ZeroNVS模型，成功解决了复杂场景下的新视图合成问题，表现优异。
延伸解读
大规模数据集对三维表示学习的意义
DL3DV-10K 包含 10,510 个视频的 51.2 百万帧，覆盖 65 种场景，且涵盖有界与无界场景，并具有不同反射、透明度和照明条件。文章指出，在此数据集上评估最新 NVS 方法，并开展学习可泛化 NeRF 的试点研究，结果证明大规模场景级数据集对于构建学习三维表示基础模型是必要的。这提示读者，数据规模与多样性是推动该领域基础模型发展的关键因素。
ZeroNVS 如何应对复杂场景的挑战
ZeroNVS 是一个三维感知扩散模型，用于野外场景的单图像新视图合成。它通过训练生成式先验模型来处理多物体场景和复杂背景，并提出新的相机条件参数化和归一化方案以解决深度尺度二义性。此外，针对 Score Distillation Sampling 在蒸馏 360 度场景时截断复杂背景分布的问题，提出了“SDS anchoring”以改善合成新视图的多样性。这些技术细节展示了模型在复杂条件下的设计思路。
零样本性能与基准扩展
在 DTU 数据集的零样本设置中，ZeroNVS 取得了新的 LPIPS 优势，甚至优于专门在 DTU 上训练的方法。文章还进一步将具有挑战性的 Mip-NeRF 360 数据集调整为单图像新视图合成的新基准，并在该设置中展现出强大性能。这表明 ZeroNVS 不仅能在特定数据集上表现优异，还具备跨数据集的泛化能力，为单图像新视图合成提供了新的评估场景。
Q&A
DL3DV-10K数据集包含哪些内容？
DL3DV-10K数据集包含来自10,510个视频的51.2百万帧，涵盖65种场景。
ZeroNVS模型的主要功能是什么？
ZeroNVS模型用于解决复杂场景下的新视图合成问题，表现优异。
大规模数据集在学习三维表示中有什么重要性？
大规模数据集对于构建学习三维表示的基础模型是必要的，能够提供有价值的见解。
ZeroNVS模型在DTU数据集上的表现如何？
ZeroNVS模型在DTU数据集的零样本设置中表现优异，超越了专门训练的方法。
新技术如何处理多物体场景的挑战？
新技术通过训练生成式先验模型来处理多物体场景和复杂背景的挑战。
Score Distillation Sampling（SDS）在新视图合成中有什么作用？
SDS在蒸馏360度场景时倾向于截断复杂背景的分布，提出了“SDS anchoring”以改善合成新视图的多样性。
