OpenAI发布了GPT-4o模型，可接受任意组合的文本、音频和图像输入，并生成相应的输出。GPT-4o在音频输入的响应时间上表现出色，与人类响应时间相似。它在英语文本和代码上的性能与GPT-4 Turbo相当，而在非英语文本上性能显著提高。GPT-4o在视觉和音频理解方面表现出色。GPT-4o API比GPT-4 Turbo快两倍，价格降低了50%。ChatGPT有了新的UI和桌面应用程序。GPT-4o对所有用户免费开放。

本文提出了一种方法，通过单个面部图像和仅含音频的输入生成富有表现力的谈话头像。该方法能够合成艺术绘画、素描、2D卡通角色、日本漫画和风格化漫画等图像，并通过评估和用户研究证明其生成头像的质量显着更高。

该研究提出了一种新方法，利用音频输入生成高质量的3D说话人头部动画，具有一致性、可靠性和不需要手动注释等优点。同时，利用面部传动部位上的控制点描述语音相关的运动。