Wild2Avatar: 遮挡背后的人类渲染
内容提要
该文汇总了团队在人体建模与渲染领域的多项研究：OccNeRF整合几何与可见性先验以改善严重遮挡下的人体渲染；IntrinsicAvatar从单目视频恢复着装人体的几何、反射率、材质与光照；另有工作利用语义纹理先验和面部标记提升单目视频生成人体模型的质量。研究还涵盖人-物交互场景的分层解耦捕捉与自由视点重建、野外视频中的全局人体轨迹重建、可显式建模表面几何与外观的神经头像、基于CNN的3D姿态估计迁移学习，以及结合显式与隐式建模的着装人体化身和MVP-Human多视角重建改进。
延伸解读
遮挡下的人体渲染：OccNeRF 的针对性改进
文章将 OccNeRF 列为 2023 年 8 月的工作，核心是整合几何与可见性先验，以改善严重遮挡场景中的人体渲染。这提示在人体渲染任务里，遮挡并非边缘问题，而是需要专门建模可见性的关键挑战。该方法同时在模拟和真实遮挡下验证，说明其关注点不止于合成数据，也试图覆盖真实场景中的遮挡情况。
从单目视频恢复材质与光照：IntrinsicAvatar 的意义
IntrinsicAvatar 被描述为从仅单目视频中恢复着装人体的几何、反射率、材质和环境光照。与只重建外形不同，这一方向试图把“看起来如何”拆解为可解释的内在属性。对读者而言，这意味着单目视频不仅是形状来源，也可能成为材质与光照估计的输入，但文章未给出精度或适用边界，实际效果仍需结合原文判断。
人-物交互与自由视点：分层解耦的捕捉思路
文章提到一项 2021 年 8 月的工作，面向人-物交互场景，采用分层场景解耦策略，同时进行体积重建和神经渲染，并配合以人为重点的物体跟踪，在自由视点下实现高质量几何和纹理重建。这反映出复杂交互场景的难点在于人与物体相互影响，解耦和跟踪是文章强调的处理手段，而非单纯提升单人体建模精度。
研究跨度与场景覆盖：从姿态估计到全身化身
汇总内容时间跨度从 2016 年到 2023 年，涵盖基于 CNN 的 3D 姿态估计迁移学习、神经头像、着装人体化身、野外全局人体轨迹重建以及 MVP-Human 多视角重建改进等。读者可据此看到一条从姿态、轨迹到几何与外观建模的线索，但各工作之间是并列汇总，文章并未说明它们在同一系统中的整合关系或统一评测结果。
Q&A
OccNeRF 是如何在严重遮挡场景下改善人体渲染的？
OccNeRF 通过整合几何和可见性先验，实现了在严重遮挡场景中更好地渲染人类形象，并在模拟和真实遮挡情况下验证了其优越性。
IntrinsicAvatar 能从单目视频中恢复人体的哪些内在属性？
IntrinsicAvatar 能从单目视频中恢复着装人类角色的几何、反射率、材质和环境光照。
如何从单目视频生成高保真度的人体模型？
利用语义纹理先验和面部标记提高人体模型质量，并采用新的纹理缝合策略，使生成的人体模型更加真实。
在人体-物体交互场景中，如何实现高质量的几何和纹理重建？
通过分层场景解耦策略，同时进行体积重建和神经渲染人和物体，提出交互感知的人-物捕捉方案，并以人为重点进行物体跟踪，在自由视点下实现高质量的几何和纹理重建。
神经头像方法有什么特点？
神经头像能够显式建模动画人物头像的表面几何形状和外观，从单目 RGB 人像视频中学习，精确外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。
如何从野外视频中重建全局人类轨迹？
提出一种优化方法，将相机和人类运动解耦，减少背景像素对推断 3D 人类运动的影响，并使用数据驱动的先验信息来恢复全局人类轨迹。
