通过查询扭曲进行人类视频翻译
内容提要
该文综述视频生成与动作迁移研究，涵盖零样本视频翻译、人体动作转移、动作定位、自监督视频表征、姿态引导人像生成、视频风格化及人类视频合成，重点解决时序一致性、特征匹配与生成质量问题，并在多个基准数据集上取得先进效果。
延伸解读
技术脉络：从图像扩散到视频翻译
文章梳理了视频生成与动作迁移的多项研究，时间跨度从2019年到2023年。早期工作如DwNet（2019）和Human MotionFormer（2023）分别关注姿态引导人像生成和运动转移中的特征匹配，而LatentWarp（2023）则利用图像扩散模型实现零样本视频翻译。这些工作共同指向时序一致性、特征匹配与生成质量等核心挑战，反映了该领域从GAN到扩散模型、从特定任务到零样本框架的演进趋势。
核心挑战：时序一致性与特征匹配
多篇论文都强调时序一致性和特征匹配的重要性。例如，LatentWarp通过约束查询令牌的时间一致性来提升视觉时间相干性；Human MotionFormer引入全局和局部感知的分层ViT框架来改善特征匹配；视频风格化工作则利用无序图像集合确保时间一致性。这些方法表明，在视频翻译和动作迁移中，保持帧间连贯性和准确的特征对应是提升生成质量的关键。
应用场景：从动作定位到人类视频合成
文章涵盖的应用场景多样，包括动作定位、自监督视频表征、姿态引导人像生成、视频风格化以及人类视频合成。例如，实体感知和动作感知的转换器用于动作定位；自监督学习方法增强小数据集上的动作识别；基于3D人体网格恢复的框架支持运动模仿和新视角合成。这些应用展示了视频翻译技术在理解、生成和编辑人类视频方面的广泛潜力。
Q&A
LatentWarp 是什么？它如何提升视频翻译的时序一致性？
LatentWarp 是一种零样本视频-视频翻译框架，通过约束查询令牌的时间一致性，并在潜在空间中结合变形操作来约束查询令牌，从而提升生成视频的视觉时间相干性。
Human MotionFormer 如何改进人类运动转移中的特征匹配和运动品质？
Human MotionFormer 是一个基于全局和局部感知的分层 ViT 框架，通过多个块的特征匹配和运动传递实现全局特征匹配，并引入卷积层改善局部感知，同时利用平移和生成分支之间的协同监督来训练更好的运动表示。
DwNet 如何生成具有时序一致性的高分辨率人像视频？
DwNet 是一种基于 GAN 的架构，利用密集的姿态引导表示和改进的过程，将源图像中所需的主体外观以纹理形式从一种姿势变换成所需的姿势，从而生成具有时序一致性的高分辨率人像视频。
如何利用无序图像集合进行视频风格化并保持时间一致性？
该研究提出了利用无序图像集合进行视频风格化的挑战性任务，并提出了一种新的生成器网络来确保视频风格转换的时间一致性，在三个数据集上展示了有效性。
自监督学习方法如何提升视频动作识别的传递性能？
该研究提出了一种新颖的自监督学习方法，通过训练神经网络区分不同的时间变换的视频序列，无需人工标注数据即可准确识别视频中的不稳定运动，并增强神经网络在小数据集上的训练，实验证明可显著提高 UCF101 和 HMDB51 上的动作识别传递性能。
人类视频合成中如何分离人类嵌入和时间相干的细节？
该研究通过两个卷积神经网络（CNNs）明确分离 2D 屏幕空间中的人类嵌入和时间相干的细节，第一个 CNN 预测动态纹理映射，第二个 CNN 条件下第一个 CNN 的输出生成最终视频，应用于人类重演和单目视频的新视图合成等领域，在质量和数量方面都有显著提高。
