REACT 2024：第二届多目标适应性面部反应生成挑战
内容提要
该文综述多模态面部及人体反应生成研究，涵盖REACT2023挑战赛及其数据集与基准、ReactFace框架生成多样且同步的面部反应、首个多恰当面部反应生成框架、多模态人类反应生成框架、MM-REACT集成ChatGPT与视觉专家、EmotionGIF2020情感反应预测、Face2Face实时面部复刻、DRAM生成虚拟人姿势、在线全身动作反应合成以及GENEA 2023手势生成评估。
延伸解读
从单模态到多模态的反应生成演进
文章梳理的系列工作显示，面部与人体反应生成正从单一视觉任务转向多模态融合。REACT2023 挑战赛聚焦多目标适应性面部反应，ReactFace 强调与说话者语言和非语言行为同步，而多模态人类反应生成框架则面向人机交互场景。这一脉络表明，反应生成不再只追求逼真，更强调对对话者行为的适当回应。
“一对多”是反应生成的核心难点
文中提到，首个多恰当面部反应生成框架将一对多映射问题重新转换为一个对一个映射问题，并学习适当的面部反应分布。这揭示了一个关键挑战：同一刺激可能对应多种合理反应，模型需要生成多样且恰当的结果，而非唯一答案。ReactFace 同样通过学习反应分布来生成多个不同但适当的序列，说明分布建模是应对多样性的主要思路。
评估仍是反应生成落地的瓶颈
GENEA Challenge 2023 的评估发现，虽然有些系统接近人类水平，但大多数系统仍远远落后于自然运动。文章还提到 EmotionGIF2020 获胜队伍在 Recall@K 指标下得分为 62.47%。这些结果提示，反应生成在动作合适性、与互动者行为的适应性等维度上仍有明显差距，评估指标和基准的完善程度直接影响技术进展的判断。
Q&A
REACT2023挑战赛是做什么的？
REACT2023是Multi-modal Multiple Appropriate Facial Reaction Generation Challenge，旨在生成多种适当的面部反应，并提供了数据集和基准系统来评估性能。
ReactFace框架如何生成多样且同步的面部反应？
ReactFace通过学习代表多种适当面部反应的面部反应分布，并将生成的面部反应与说话者的语言和非语言行为同步，从而生成多个不同但适当的逼真面部反应序列。
首个多恰当面部反应生成框架采用了什么方法？
该框架将一对多映射的面部反应生成问题重新转换为一个对一个映射问题，提出适当的面部反应分布学习策略，并利用新颖的可逆多维边缘图神经网络（REGNN）解码恰当的面部反应。
MM-REACT系统是如何集成ChatGPT和视觉专家的？
MM-REACT将ChatGPT与一组视觉专家集成在一起，以实现多模态推理和动作，并引入了文本提示设计，以表示文本描述、已文本化的空间坐标和对齐的文件名来处理多模态信息。
EmotionGIF2020比赛的数据集和任务是什么？
EmotionGIF2020比赛的数据集包含40,000条带有反应表情的推文，任务旨在预测用户对于在线文本的情感反应，并评估参赛队伍的表现，获胜队伍在Recall@K指标下的得分为62.47%。
GENEA Challenge 2023的主要发现是什么？
GENEA Challenge 2023通过对言语和动作数据集的评估，研究了基于言语驱动的手势生成系统，发现虽然有些系统接近人类涉入，但大多数系统仍然远远落后于自然运动。
