Real3D：用真实世界图像扩展大型重建模型
内容提要
本文介绍了一种大规模重建模型（LRM），该模型能够在5秒内从单个图像预测3D模型。LRM基于transformer架构，拥有5亿个参数，能够直接预测神经辐射场（NeRF）。通过在约100万个对象的多视图数据上训练，模型展现出强大的通用性，生成高质量的3D重建结果。此外，提出的多视角大型重建模型（M-LRM）和Human-LRM模型进一步提升了重建质量和适应性，尤其在复杂场景中表现优异。
延伸解读
从单图到3D：LRM的突破与局限
LRM首次实现5秒内从单张图像预测3D模型，其5亿参数的Transformer架构直接输出NeRF，并在约100万对象的多视图数据上训练，展现出强大通用性。然而，单视图重建本质存在歧义，尤其在遮挡区域，LRM可能无法恢复完整几何。此外，模型依赖大规模高质量数据，训练成本高，且对训练分布外的物体泛化能力仍有待验证。
多视角与人体重建的专项优化
针对LRM的不足，M-LRM引入跨视图一致交叉注意力和三维先验，提升了多视角重建的保真度和收敛速度，并能生成128×128三平面NeRF。Human-LRM则专注于人体，通过条件三平面扩散模型将多视角重建转化为单视角，解决了遮挡下的人体形状变化问题，在多个基准上显著超越先前方法。这些改进显示了针对特定场景定制模型的价值。
技术演进：从LRM到GS-LRM与PF-LRM
LRM之后，GS-LRM用高斯原语替代NeRF，在0.23秒内从稀疏视图预测3D高斯，且能处理复杂场景；PF-LRM则无需相机位姿，1.3秒内从非位姿图像重建物体并估计相机参数。这些模型均基于Transformer，在Objaverse等数据上训练，表现出强泛化性。它们共同推动了3D重建向更快、更通用、更易用的方向发展。
Q&A
大规模重建模型（LRM）是如何工作的？
LRM能够在5秒内从单个图像预测3D模型，基于transformer架构，拥有5亿个参数，直接预测神经辐射场（NeRF）。
LRM的训练数据来源是什么？
LRM在约100万个对象的多视图数据上训练，包括合成渲染和真实采集数据。
Human-LRM模型有什么特别之处？
Human-LRM模型能够从单一图像中预测人类神经辐射场，尤其在遮挡情况下的重建能力表现优异。
多视角大型重建模型（M-LRM）与LRM相比有什么优势？
M-LRM通过引入跨视图一致的交叉注意力机制，能够以更高的保真度和训练收敛速度生成三维形状。
如何提高3D重建的质量？
通过使用包含3D扫描和多视角捕获的大型数据集进行训练，可以显著提高3D重建的质量。
LRM模型的应用场景有哪些？
LRM模型适用于真实世界中的野外捕捉和生成模型的图像，能够处理多种复杂场景。
