URHand：通用可重新照明手部
内容提要
本文综述人体图像与视频重光照研究，涵盖可重光神经人体模型（支持真实感光照、外观编辑与任意骨骼姿势控制）、Relighting4D（以神经场分解几何与反射属性并自监督分离人体与背景）、单图重光照中的高频阴影恢复、视频人像重光照的时空一致性、缓解合成到真实域差异的两阶段方法、支持交互手重光照的Re:InterHand数据集、基于PRT与球谐光以消除朗伯假设的方法、校正漏光的物理图像形成模型、单张手机照片换光，以及由零散视频创建可重光可动画化身。
延伸解读
从单图到视频：重光照技术的演进脉络
文章按时间顺序梳理了人体重光照研究的关键节点：2019年单张手机照片换光、2021年两阶段方法解决合成到真实域差异、2022年Relighting4D实现自监督人体与背景分离、2023年可重光神经人体模型支持任意骨骼姿势控制。这一脉络显示，研究从静态单图逐步走向动态视频与可动画化身，对数据量和计算的要求也相应提高。
物理建模与数据驱动的融合趋势
文中多项工作体现了物理模型与深度学习结合的趋势：基于PRT和球谐光的方法显式建模散射与镜面反射，以消除朗伯假设；基于物理图像形成模型的架构可校正漏光；Relighting4D将人体几何与反射属性分解为神经场进行基于物理的渲染。这种融合有助于提升光照的真实感，但也依赖对场景物理属性的准确估计。
交互手重光照的专用数据集
Re:InterHand数据集针对双手交互场景，结合手部重光网络与准确跟踪的三维姿势，提供多样逼真的图像外观和大规模真实三维姿势标注。与现有三维交互手数据集相比，它填补了交互手在重光照研究中的数据空白，为训练和评估手部重光模型提供了专用基准，但文章未说明其规模与覆盖的光照条件范围。
零散视频创建可重光化身的挑战
利用零散视频创建可重光、可动画化身的关键难点在于分解几何、材质与光照，而身体运动引起的几何和阴影变化使问题更加不适定。为此，作者提出可逆变形场改善几何质量，并用姿势感知的部位光可见性网络估计光线遮挡。该方法在合成和真实数据集上验证了高质量几何与逼真阴影的生成能力，但依赖视频输入且需解决光照未知问题。
Q&A
可重光神经网络人体模型能实现哪些功能？
该模型能实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中展示了针对新颖人体动作的最新重光效果。
Relighting4D 是如何实现人体与背景分离的？
Relighting4D 通过神经网络将人体的空间时间几何和反射属性分解为一组法线、遮挡、漫反射和镜面映射的神经场，并以自监督学习的方式将人体演员的表演与其背景分离。
单张图片人体重光照如何恢复高频阴影？
通过基于单图几何重建的框架，采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法，在去除光照的同时恢复逼真的阴影，包括硬阴影在内的高频阴影效果。
视频人像重光照如何保证时间一致性？
提出了一种基于神经网络的实时、高质量和一致的视频人像重照方法，采用混合结构和光照分离的编码器-解码器架构，通过多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，以及光照采样策略进行光照一致性建模。
Re:InterHand 数据集有什么特点？
Re:InterHand 数据集通过使用先进的手部重光网络和准确跟踪的两只手的三维姿势，实现了多样和逼真的图像外观和多样和大规模的地面真实（GT）三维姿势，并在现有的三维互动手数据集的基础上进行了对比，展示了其益处。
如何从零散视频创建可重光可动画的化身？
提出了一种轻量级创建方法，通过可逆变形场建模几何变化以解决逆皮肤问题并提高几何质量，以及姿势感知的部位光可见性网络来估计光线遮挡以建模空间和时间变化的光照线索，从而在合成和真实数据集上重构高质量几何并生成逼真阴影。
