通过聚焦视线的损失项缓解人脸交换中的怪异感
内容提要
该文综述了人脸交换与注视估计研究，包括利用凝视识别改进换脸、基于GAN的高保真换脸框架、Transformer语义感知换脸、遮挡感知的FaceShifter两阶段框架，以及注视估计的对比学习、合成数据和无监督域适应方法，旨在提升换脸自然度、身份保留与隐私保护。
延伸解读
凝视损失项为何能缓解换脸怪异感
文章指出，换脸后目光朝向不自然会显著增加怪异感。为此，研究提出在训练中引入基于凝视识别的损失函数，直接约束生成图像的注视方向。实验表明，该方法在改善凝视问题方面明显优于现有技术，说明将注视估计作为辅助监督信号，能有效提升换脸结果的自然度与真实感。
换脸技术演进：从GAN到Transformer与遮挡处理
文章综述了多种换脸框架：基于GAN的高保真方法通过属性编码器和注意力样式混合模块提升视觉质量；Transformer方法学习源与目标脸部的语义对应，兼顾身份保留与属性迁移；FaceShifter则采用两阶段设计，先生成高清换脸图，再通过HEAR-Net处理遮挡。这些进展共同推动了换脸在自然度和鲁棒性上的提升。
注视估计的泛化挑战与应对策略
注视估计面临标注数据稀缺和跨设备差异等挑战。文章提到，半监督对比学习框架能在少量标注数据下实现泛化；合成数据方法可生成大规模数据集并提升跨设备性能；无监督域适应则通过3D重建扩展头部姿态、分离注视特征并引入背景增强一致性损失。这些策略共同提高了模型在未见过人脸和不同目标域上的表现。
隐私保护与效用平衡的评估视角
文章还从隐私保护角度评估换脸技术，提出端到端流水线以衡量隐私效益与使用效用的平衡，并与基线隐私方法对比。研究指出，当前基于深度网络的换脸受限于现实视频中的面部检测瓶颈，并以儿童自闭症评估记录视频为例进行探讨。这提示换脸技术的实际部署需综合考虑检测可靠性与隐私风险。
Q&A
人脸交换中常见的目光朝向问题如何解决？
可以通过引入利用凝视识别辅助训练的损失函数来改善目光朝向问题，使生成的人脸更自然逼真。
FaceShifter 框架是如何处理人脸遮挡问题的？
FaceShifter 是一个两阶段框架，第一阶段生成高清晰度换脸图像，第二阶段使用 Heuristic Error Acknowledging Refinement Network (HEAR-Net) 专门处理复杂的面部遮挡。
基于 GAN 的高保真人脸交换方法有哪些核心模块？
核心模块包括面部属性编码器、基于注意力的样式混合模块和样式解码器，这些模块共同解决了混合不一致、失真、伪影和训练稳定性等问题。
如何利用合成数据提升注视估计的跨设备泛化能力？
可以使用生成对抗网络生成大型合成数据集进行注视估计，该方法在移动设备上取得了最新成果并具有跨设备泛化能力。
无监督域自适应在注视估计中是如何实现的？
通过训练数据合成和注视估计模型的有效训练流程，包括使用单幅图像 3D 重建扩展源域头部姿势范围、自编码器分离注视相关特征，以及引入背景增强一致性损失，从而在多个目标域上提升性能。
Transformer 在人脸交换中有什么作用？
Transformer 网络可以学习源脸部与目标脸部之间高质量的语义感知对应，从而在交换后的脸部图像中同时保留源身份和目标属性。
