量子位
·
Karpathy都投的AI实时视频生成模型：直播立即转，无限时长零延迟
内容提要
Decart推出的MirageLSD是首个实现零延迟、无限时长的实时视频生成模型，每秒生成24帧，响应速度比以往快16倍。该模型解决了传统自回归模型的“误差累积”问题，支持直播和游戏等多种形式，提升用户体验。
关键要点
-
Decart推出的MirageLSD是首个实现零延迟、无限时长的实时视频生成模型。
-
该模型每秒生成24帧，响应速度比以往快16倍。
-
MirageLSD解决了传统自回归模型的“误差累积”问题，支持直播、游戏等多种形式。
-
模型采用自定义的实时流扩散模型Live-Stream Diffusion（LSD），保持时间连贯性。
-
通过历史增强策略，模型学会预判并纠正生成过程中的瑕疵。
-
改进的Transformer模型架构和视觉编码器提升了处理速度，支持实时互动。
-
动态输入系统以超低延迟处理玩家输入，快速响应生成新元素或改变环境。
-
Decart成立于2023年，计划定期发布MirageLSD的升级模型和新增功能。
延伸解读
实时视频生成的技术突破
MirageLSD模型通过解决传统自回归模型的“误差累积”问题，实现了无限时长的实时视频生成。这一技术突破使得用户可以在直播、游戏等场景中享受更流畅的体验，尤其是在需要快速反应的互动环境中，MirageLSD的优势尤为明显。
应用场景的广泛性
MirageLSD不仅适用于游戏和直播，还可以在视频通话和点播等多种形式中发挥作用。这种多功能性使得该模型在不同领域的应用潜力巨大，尤其是在需要实时内容生成的创意行业，能够为用户提供更多的创作自由度。
未来发展的潜力
Decart计划定期发布MirageLSD的升级模型和新功能，显示出其持续创新的决心。随着面部一致性、语音控制等功能的加入，用户体验将进一步提升，这也意味着该技术在未来可能会引领更多行业的变革。
延伸问答
MirageLSD模型的主要特点是什么？
MirageLSD是首个实现零延迟、无限时长的实时视频生成模型，每秒生成24帧，响应速度比以往快16倍。
MirageLSD如何解决传统模型的误差累积问题？
MirageLSD通过逐帧的因果自回归结构和Diffusion Forcing技术，避免了误差累积，确保生成内容的连贯性。
MirageLSD支持哪些应用场景？
MirageLSD支持直播、游戏、视频通话、相机拍摄和点播等多种形式。
Decart公司成立于何时？
Decart成立于2023年。
MirageLSD的响应速度相比于之前的模型提升了多少？
MirageLSD的响应速度比之前的模型快16倍。
Decart计划如何发展MirageLSD模型？
Decart计划定期发布MirageLSD的升级模型和新增功能，包括面部一致性、语音控制和精确物体控制等。
