量子位
·
LeCun发布最新世界模型：首次实现16秒连贯场景预测，具身智能掌握第一视角！还打脸用了VAE
💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
LeCun团队推出PEVA模型，实现了16秒的连贯场景预测，赋予机器人具身智能，能够主动理解环境。该模型通过结构化动作表示和条件扩散Transformer，模拟人类预判能力，提升智能体的动作规划和视觉生成，标志着AI从“人工智障”向“人工预判”的进化。
🎯
关键要点
- LeCun团队推出PEVA模型，实现了16秒的连贯场景预测。
- PEVA模型赋予机器人具身智能，能够主动理解环境。
- 模型通过结构化动作表示和条件扩散Transformer，模拟人类预判能力。
- PEVA模型让智能体不再依赖抽象信号，而是以第一人称视角的视频和全身姿态轨迹为输入。
- 模型解决了长时序动作预测中的计算效率与延迟效应问题。
- PEVA具备智能规划能力，能够筛选出最优动作选项。
- PEVA模型采用高维结构化数据训练，捕捉整体动作与细微关节变化。
- 模型使用随机时间跳跃训练和时间注意力机制，提升动作与视觉的关系捕捉能力。
- PEVA在多项任务上表现优于基线模型，生成画面与真实画面的视觉相似度更高。
- LeCun在PEVA模型中使用了VAE编码器，引发网友讨论其立场变化。
❓
延伸问答
PEVA模型的主要功能是什么？
PEVA模型实现了16秒的连贯场景预测，赋予机器人具身智能，能够主动理解环境。
PEVA模型如何模拟人类的预判能力？
PEVA模型通过结构化动作表示和条件扩散Transformer，模拟人类的预判能力，提升智能体的动作规划和视觉生成。
PEVA模型在训练中使用了哪些技术？
PEVA模型使用了随机时间跳跃训练和时间注意力机制，提升了动作与视觉的关系捕捉能力。
PEVA模型与传统模型相比有什么优势？
PEVA模型在多项任务上表现优于基线模型，生成画面与真实画面的视觉相似度更高，且能更精准地捕捉细粒度动作带来的视觉变化。
LeCun在PEVA模型中使用VAE编码器的原因是什么？
LeCun在PEVA模型中使用VAE编码器是为了进行视频帧的编码，尽管他曾批评VAE的局限性，这引发了网友的讨论。
PEVA模型如何解决长时序动作预测中的计算效率问题？
PEVA模型通过随机时间跳跃与跨历史帧注意力机制，解决了长时序动作预测中的计算效率与延迟效应问题。
➡️
