联合嵌入预测架构用于自监督学习的蒙版分类架构
内容提要
该研究提出了多种基于联合嵌入预测架构（JEPA）的自监督学习方法，涵盖图像、音频和图数据。I-JEPA通过上下文块预测图像目标，A-JEPA在音频分类中表现优异，Graph-JEPA在图分类中具有竞争力。研究还探讨了在脑电信号处理和点云数据中的应用，显示出良好的表示学习性能，强调了模型设计对结果的影响。
延伸解读
JEPA 家族的多模态扩展
文章展示了 JEPA 架构从图像扩展到音频、图、点云、脑电和视频等多个领域。I-JEPA 开创了图像自监督学习，A-JEPA 在音频分类中达到最先进水平，Graph-JEPA 首次将 JEPA 应用于图数据，Point-JEPA 针对点云设计，ST-JEMA 则处理动态功能连接。这种跨模态适应性表明 JEPA 作为一种通用自监督学习框架具有广泛潜力，但不同模态需要针对性的设计调整。
设计选择对性能的关键影响
文章多次强调模型设计对结果的重要性。例如，在音频 JEPA 中，输入数据的上下文和目标划分方式显著影响模型质量，且图像领域有效的设计选择在音频上可能导致性能下降。在脑电信号处理中，空间滤波对下游分类精度至关重要，预训练示例长度也有影响，而掩蔽大小则不影响。这些发现提示研究者和实践者需根据具体模态和数据特性谨慎调整 JEPA 的配置。
效率与性能的平衡
Point-JEPA 通过引入排序器高效计算标记接近性，避免了输入空间重构和额外模态，在保持竞争性结果的同时减少了预训练时间。Graph-JEPA 采用预测双曲线上坐标的替代训练目标，学习表达性强的图表示。这些工作表明，JEPA 框架在追求性能的同时，也注重计算效率，为资源受限场景提供了可行方案。
在标记稀缺领域的应用潜力
ST-JEMA 利用大规模 UK Biobank 数据集进行自监督学习，在动态功能连接中展现出优越的表示学习性能，并在预测表型和精神诊断方面优于先前方法，尤其在缺失数据场景下有效。脑电研究也初步证明了 JEPA 在跨数据集迁移中的潜力。这些结果突出了 JEPA 在标记稀缺的临床和神经科学领域的应用价值，为利用无标签数据提供了新途径。
Q&A
I-JEPA框架的主要功能是什么？
I-JEPA框架通过上下文块预测图像目标，实现自我监督学习，具有高度可扩展性和强大的下游性能。
A-JEPA在音频分类中有什么优势？
A-JEPA在音频分类中表现优异，创造了新的最先进性能，具有极强的可扩展性。
Graph-JEPA是如何应用于图分类的？
Graph-JEPA通过掩码建模学习不同子图的嵌入表示，在图分类和回归问题中表现竞争力。
Point-JEPA如何提高点云数据处理的效率？
Point-JEPA引入了一种排序器，能够高效计算和利用标记的接近性，从而提高处理效率。
ST-JEMA在动态功能连接学习中表现如何？
ST-JEMA在动态功能连接中显示出卓越的表示学习性能，优于先前方法。
MC-JEPA在图像和视频处理中的应用是什么？
MC-JEPA在光流估计和内容特征方面表现良好，适用于图像和视频的语义分割等下游任务。
