该文综述了基于深度学习的动作生成与编辑研究，涵盖利用预训练GAN分解视频动作、人到机器人动作重定向、自监督自编码器LIA潜空间线性导航生成图像、扩散模型合成数字人运动、MoStAtt机制增强视频动态、无监督局部潜子空间保持图像真实感、骨架动作生成、数据驱动运动风格转移、概率框架生成角色动画以及自监督生成多样自然人体动作等方法。

该文综述文本驱动人体动作生成研究，涵盖：利用大型语言模型从长文本提取轨迹与动作以解决位置约束和不稳定问题；结合语言结构与上下文推理生成细粒度动作；通过量化码本与多模态令牌预测实现统一生成；采用两级流模型分别建模上下半身以生成复合动作；TEACH基于Transformer生成时间组合动作；扩散模型结合过去条件与相干采样实现长时连贯动作；Make-An-Animation利用大规模伪姿势数据提升性能；DiffKFC以关键帧与扩散协作控制粗细粒度生成；并支持自然语言迭代编辑动画。

该文综述多模态面部及人体反应生成研究，涵盖REACT2023挑战赛及其数据集与基准、ReactFace框架生成多样且同步的面部反应、首个多恰当面部反应生成框架、多模态人类反应生成框架、MM-REACT集成ChatGPT与视觉专家、EmotionGIF2020情感反应预测、Face2Face实时面部复刻、DRAM生成虚拟人姿势、在线全身动作反应合成以及GENEA 2023手势生成评估。

本研究提出了一种基于级联扩散的生成框架，用于文本驱动的人体动作合成。该框架利用了一种名为GUESS的策略，将人体姿态逐步抽象为多个粒度级别上的更粗糙的骨架，从而改善了跨模态动作合成任务。实验证明，GUESS优于现有方法。