李飞飞的Marble、Lecun的JEPA和谷歌的Genie 3三种世界模型各具特色。Marble专注于生成可编辑的3D环境，JEPA关注机器人训练的因果结构，而Genie 3则生成可交互的视频环境。这三者在技术路径和应用上存在显著差异，形成了一个世界模型金字塔。

LeCun团队的新论文指出，自监督模型JEPA不仅能提取特征，还能感知数据密度。研究表明，反坍缩机制使JEPA在训练中自动学习数据的常见程度，提出的JEPA-SCORE工具可量化样本的典型性，适用于多种数据集，并验证了其在数据筛选和异常检测中的有效性。

本研究提出了seq-JEPA模型，旨在解决自监督算法在视觉表征学习中的局限性，特别是二视图范式下的不变性与不等变性之间的权衡。该模型能够同时学习这两种表示，显著提升图像分类等任务的性能。

本研究针对现有联合嵌入预测架构（JEPA）模型的可解释性不足和效率低下的问题，提出了一种名为稀疏JEPA的新方法。该方法通过引入稀疏表示学习，优化了嵌入表示的质量，并在CIFAR-100数据集上进行验证，显示出在图像分类及低级任务中的高效表现，标志着在表示学习中嵌入稀疏性的重要性。

本研究解决了模仿学习中有效决策政策表示学习的挑战，尤其是在缺乏专家示范的情况下。提出的ACT-JEPA架构将模仿学习与自监督学习相结合，通过预测动作序列和抽象观察序列来提升表示的质量。实验结果表明，该模型在多种决策任务中表现优越，显示了更强的泛化能力和世界模型的鲁棒性。

本研究提出了一种自监督预训练框架AD-L-JEPA，利用激光雷达数据减少自主驾驶系统对标注数据的依赖，显著提升了嵌入质量和标签效率，实验结果优于现有方法。

LeCun在演讲中表示，纯语言模型无法达到人类智能水平，Meta已基本放弃此方向。他认为实现人类级别的AI需要具备推理、规划和理解物理世界的能力，这可能需要数年甚至十年。LeCun强调开源AI的重要性，提出目标驱动的AI架构和联合嵌入预测架构（JEPA）的新方法。

TabTransformer是一种基于Transformer的深度学习架构，适用于监督和半监督学习。通过在15个公开数据集上的实验，证明了其在处理噪声和缺失数据方面的鲁棒性，并提升了模型的可解释性。在半监督学习中，通过无监督预训练，AUC平均提升2.1%。

本研究针对生成用户界面(UI)操作序列中用户意图的挑战，提出了一种新框架UI-JEPA，通过掩码策略和自监督学习从未标记数据中学习抽象UI嵌入，并结合经过微调的LLM解码器进行用户意图预测。同时，引入两个全新的UI基础的多模态数据集，提供高效的用户意图理解解决方案。研究表明，与现有的多模态大型语言模型相比，UI-JEPA在计算成本和延迟方面具有显著优势，展示其在轻量级高性能UI理解中的巨大潜力。

本研究提出了CNN-JEPA，一种新颖的自监督学习方法，适用于卷积神经网络。实验结果表明，CNN-JEPA在ImageNet-100上表现优于I-JEPA，训练时间减少17-35%。该方法简化了卷积神经网络的训练过程，同时保持了准确性。

本文研究了自监督通用音频表示学习的问题，使用联合嵌入预测架构（JEPA），通过分割mel频谱图为上下文和目标两部分，训练神经网络从上下文表示中预测目标表示。研究发现图像领域的设计选择会导致音频上的性能下降，凸显了两种模态之间的重要差异。

近期在点云领域中自监督学习方面的最新进展表现出潜力。研究人员提出了一种专门针对点云数据设计的联合嵌入预测架构Point-JEPA，通过引入排序器提高效率。实验证明，该方法与最先进的方法相竞争。

开源日报每天推荐一个 GitHub 优质开源项目和一篇精选英文科技或编程文章原文，坚持阅读《开源日报》，保持每 […] The post 开源日报第1102期：meta语言处理模型：《jepa》 appeared first on 开源工场.