量子位
·
Karpathy都投的AI实时视频生成模型：直播立即转，无限时长零延迟
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
Decart推出的MirageLSD是首个实现零延迟、无限时长的实时视频生成模型，每秒生成24帧，响应速度比以往快16倍。该模型解决了传统自回归模型的“误差累积”问题，支持直播和游戏等多种形式，提升用户体验。
🎯
关键要点
- Decart推出的MirageLSD是首个实现零延迟、无限时长的实时视频生成模型。
- 该模型每秒生成24帧，响应速度比以往快16倍。
- MirageLSD解决了传统自回归模型的“误差累积”问题，支持直播、游戏等多种形式。
- 模型采用自定义的实时流扩散模型Live-Stream Diffusion（LSD），保持时间连贯性。
- 通过历史增强策略，模型学会预判并纠正生成过程中的瑕疵。
- 改进的Transformer模型架构和视觉编码器提升了处理速度，支持实时互动。
- 动态输入系统以超低延迟处理玩家输入，快速响应生成新元素或改变环境。
- Decart成立于2023年，计划定期发布MirageLSD的升级模型和新增功能。
❓
延伸问答
MirageLSD模型的主要特点是什么？
MirageLSD是首个实现零延迟、无限时长的实时视频生成模型，每秒生成24帧，响应速度比以往快16倍。
MirageLSD如何解决传统模型的误差累积问题？
MirageLSD通过逐帧的因果自回归结构和Diffusion Forcing技术，避免了误差累积，确保生成内容的连贯性。
MirageLSD支持哪些应用场景？
MirageLSD支持直播、游戏、视频通话、相机拍摄和点播等多种形式。
Decart公司成立于何时？
Decart成立于2023年。
MirageLSD的响应速度相比于之前的模型提升了多少？
MirageLSD的响应速度比之前的模型快16倍。
Decart计划如何发展MirageLSD模型？
Decart计划定期发布MirageLSD的升级模型和新增功能，包括面部一致性、语音控制和精确物体控制等。
➡️
