OpenAI的《Her》难产,是被什么困住了手脚?
内容提要
OpenAI的“Her”在开发中面临困难。存在法律争议,以确保像斯嘉丽·约翰逊的“Her”这样的争议性声音不会重现。此外,还需要解决安全问题,例如防止其被用作欺诈工具。此外,还有技术挑战需要克服,例如需要稳定的网络、固定设备和固定的物理环境。文章还提到低延迟、多设备兼容性以及处理各种网络条件和嘈杂环境的重要性。OpenAI正在与实时通信(RTC)技术提供商合作,如LiveKit,以优化AI音视频对话体验。中国的国内AI公司也在开发自己的端到端多模态模型和实时AI音视频对话应用。文章最后提到,目前在中国一轮对话的延迟已减少到约1秒,通过进一步优化,实现流畅和及时的响应不是问题。
延伸解读
演示环境与真实场景的差距
文章指出,GPT-4o发布会演示使用了固定网络、固定设备和固定物理环境,例如手机插着网线。这意味着演示效果可能经过优化,而真实用户面临移动网络、嘈杂环境和多设备差异,体验可能打折扣。读者需注意,演示中的丝滑表现并不等同于日常可用性。
低延迟与多设备适配的挑战
文章强调,低延迟对AI音视频对话至关重要,例如盲人打车场景中延迟稍高就可能错过出租车。此外,室外网络不稳定、噪音干扰和多设备适配(如低端机型)都是待解难题。OpenAI宣传的响应时间仅指大模型部分,并非端到端系统延迟。
RTC技术:AI对话的隐形支柱
文章解释,实现实时AI音视频对话不仅依赖大模型,还需RTC技术处理信号采集、降噪、编码、传输和解码等环节。OpenAI与LiveKit合作,国内公司则多与声网等RTC厂商联手。这表明,AI能力之外,通信层的优化同样关键。
国内进展与延迟优化
文章提到,国内AI公司也在研发端到端多模态模型和实时音视频对话应用。据声网透露,目前国内技术已能将一轮对话延迟压缩到约1秒,进一步优化后可实现流畅响应。但具体产品落地时间和体验能否媲美OpenAI,尚待观察。
Q&A
OpenAI的《Her》面临哪些法律问题?
OpenAI的《Her》面临法律争议,需确保语音音色不再出现争议性声音,例如斯嘉丽·约翰逊的声音。
《Her》在技术上有哪些挑战?
《Her》在技术上面临固定网络、设备和物理环境的要求,以及低延迟和多设备兼容性的问题。
OpenAI如何优化AI音视频对话体验?
OpenAI与RTC技术提供商LiveKit合作,致力于优化AI音视频对话体验。
中国的AI公司在实时对话技术上有什么进展?
中国的AI公司正在研发端到端多模态模型和实时AI音视频对话应用,目前对话延迟已减少到约1秒。
《Her》在实际使用中可能遇到哪些问题?
在实际使用中,《Her》可能遇到网络信号不稳定、噪音干扰和多设备适配等问题。
RTC技术在AI对话中起什么作用?
RTC技术在AI对话中负责信号采集、编码、传输和解码等环节,确保实时性和流畅性。