使用大型重建模型进行单视角三维人体数字化
内容提要
本文提出首个大规模重建模型LRM，采用5亿参数Transformer架构，可从单张图像在5秒内预测3D模型，并以约100万对象的多视图数据端到端训练，泛化性强；同时综述了HumanRF、HumanNeRF等基于NeRF的人体与场景重建及自由视角合成方法，涵盖动态人体、人脸建模和新视角渲染等进展。
延伸解读
LRM 的规模化路径与泛化能力
LRM 的核心在于用 5 亿参数 Transformer 和约 100 万对象的多视图数据做端到端训练，直接由单图预测 NeRF。与以往按类别在小数据集（如 ShapeNet）上训练的方法不同，这种规模组合使其能处理真实野外拍摄和生成模型图像，并在 5 秒内输出 3D 模型，体现了大模型加大数据对泛化性的提升。
人体与场景联合重建的取舍
文章介绍的方法从野外视频中分别训练人体和场景两个 NeRF，并借助现有方法估计大致几何，再通过偏移场将观察空间映射到规范空间。这样仅用 10 秒视频就能学习服装褶皱和配件等细节，并支持新姿势和新视角渲染。其代价是依赖人体和场景几何的预估计，重建质量受这些估计影响。
动态人体重建的技术脉络
从 HumanNeRF 的像素对齐特征与姿态嵌入非刚性变形，到 HumanRF 的时空矩阵-向量分解和 ActorsHQ 多相机数据，再到可泛化 NeRF 利用参数化人体模型导出变形，这些工作共同处理动态人体的自由视角合成。它们分别强调通用性、高压缩高分辨率细节和稀疏视角泛化，但均需多视角或视频输入，与 LRM 的单图路径形成对照。
Q&A
LRM是什么？它有什么主要特点？
LRM是首个大规模重建模型，采用5亿参数的Transformer架构，能从单张图像在5秒内预测3D模型，并以约100万对象的多视图数据端到端训练，泛化性强。
LRM的训练数据来源有哪些？
LRM的训练数据包括Objaverse的合成渲染数据和MVImgNet的真实采集数据，总计约100万个对象的多视图数据。
HumanRF是什么？它有什么作用？
HumanRF是一种4D动态神经场景表示，能捕获多视角视频中运动的全身外观，并允许从新视角播放。它通过分解时空为时间矩阵-向量分解，以高压缩比捕获高分辨率细节，实现时间上连贯的演员重建。
HumanNeRF是如何实现自由视角人体合成的？
HumanNeRF引入聚合像素对齐特征，并使用姿态嵌入的非刚性变形场处理动态运动，通过外观融合模块提高渲染质量，从而在各种多视角动态人体数据集上合成照片般逼真的自由视角人类。
如何从野外视频中重建人体和场景并渲染新姿势？
通过训练两个NeRF模型（人体和场景），依赖现有方法估计大致几何形状，从观察空间创建到无关姿态的规范空间的偏移场，在规范空间中训练人体模型，从而从10秒视频中学习特定主题细节，并渲染新视角和新姿势。
有哪些基于NeRF的人脸建模方法？
文章提到使用神经辐射场的语义模型构建逼真的人脸模型，可用于面部重定向和表情编辑；还有研究提出多视角摄影技术和动态神经放射场方法，用于高保真度重建人类头部并从新视角合成再渲染。
