AIxiv专栏介绍了浙江大学与FaceChain社区的研究,论文被NeurIPS 2024接收。研究提出了TopoFR框架,专注于人脸识别中的拓扑结构对齐。通过持续同调技术分析,发现输入空间与隐层空间的拓扑差异。PTSA策略有效保留数据结构信息,提升模型泛化性能。实验显示TopoFR在多个测试基准上表现优异。
本研究提出了Face Adapter with Decoupled Training (FACT)框架,旨在解决个性化图像生成中的性能下降问题。通过解耦身份特征与其他属性的提取,提升了生成面孔的可控性和多样性。实验结果表明,FACT在文本到图像生成和肖像生成中的保真性和可控性显著改善。
该论文提出了一种生成具有可控面部动作的谈话面孔的方法,通过建立规范空间和多模态运动空间,实现了外观自然、具有完全可控面部属性和准确的唇部同步。实验证明该方法在视觉质量和唇同步得分方面取得了最先进的结果。这是第一个开发出在生成的视频中准确展示包括唇部、头部姿势和眼动等所有目标面部运动的谈话面孔生成框架,没有超越 RGB 视频与音频的任何附加监督。
完成下面两步后,将自动完成登录并继续当前操作。