本文提出了一种新颖的自动图像上色网络（AIAIC），通过利用音频的额外语义信息，实现音频引导的上色。实验表明音频引导能够有效改善自动着色的性能。

该文介绍了一种基于 LivelySpeaker 框架的语义感知的共同语言手势生成方法，分为基于脚本的手势生成和基于音频引导的节奏细化两个阶段。该方法利用预先训练的 CLIP 文本嵌入作为指导，生成与脚本高度语义对齐的手势，并通过基于扩散的手势生成骨干将脚本引导的手势与音频信号相结合。