基于集合的遮蔽粒子建模：面向自监督高能物理基础模型
内容提要
本文综述了掩蔽建模在人体姿态、动作识别、物理模拟、图像频域、图注意力、分子预训练及医学影像等领域的自监督预训练进展，提出了MPM、MAMP、MFM、PMI-Masking等方法，并在多项基准上取得最优性能。
延伸解读
掩蔽建模的跨领域统一趋势
文章综述了掩蔽建模在人体姿态、动作识别、物理模拟、图像频域、图注意力、分子预训练及医学影像等多个领域的自监督预训练进展。这些方法虽应用场景不同，但核心思想一致：通过遮蔽部分输入并预测缺失信息，迫使模型学习数据的深层表示。这种跨领域的统一性表明，掩蔽建模已成为自监督学习的一种通用范式，为高能物理领域的基础模型构建提供了可借鉴的思路。
从单模态到多物理系统的预训练扩展
MPP方法将预训练扩展到多物理系统，通过共享嵌入和归一化策略，让大型代理模型同时预测多个异质物理系统的动力学。这不同于传统针对单一任务的预训练，其优势在于学习跨物理任务广泛适用的特征，并在下游任务中无需微调即可超越特定任务基准。这提示我们，面向高能物理的基础模型也可能需要处理多种物理过程，共享表示学习是关键。
掩蔽策略的优化与领域适配
文章提到PMI-Masking通过点对互信息替代随机掩码，提高了预训练效率和下游性能；MFM则在频域进行遮蔽，优于其他基于遮蔽的图像建模方法。这些改进表明，简单的随机掩码并非最优，针对数据特性设计掩蔽策略能显著提升效果。对于高能物理数据，如粒子云或事件记录，可能需要类似的领域特定掩蔽策略来捕捉物理相关性。
自监督预训练在数据稀缺领域的价值
综述中的方法在医学影像、分子预训练等领域展示了自监督学习的潜力，这些领域通常标注数据稀缺。mDPPM利用无标签数据通过掩码正则化生成解剖一致的表示，并在肿瘤和病变数据集上超越监督基线。这暗示在高能物理中，自监督预训练可以利用大量未标注的模拟或实验数据，减少对昂贵标注的依赖，加速基础模型的开发。
Q&A
MPM框架是什么？它如何统一2D和3D人体姿态表示？
MPM是一种通过掩蔽姿态建模实现统一2D-3D人体姿态表示的框架。它使用单流的基于Transformer的人体姿态表示和三个预训练任务，能在单一框架中处理3D人体姿态估计、来自遮挡2D姿态的3D姿态估计和3D姿态完成。在Human3.6M和MPI-INF-3DHP上达到了最先进性能。
MAMP框架在3D动作识别中有什么作用？
MAMP是一种用于3D动作识别的掩蔽运动预测框架，通过对掩蔽的空间-时间骨骼序列进行预测，实现对丰富语义区域的更好关注，从而提高自监督预训练性能。在NTU-60、NTU-120和PKU-MMD数据集上，MAMP预训练显著提高了基础Transformer模型的性能，并取得了最先进的结果。
多物理预训练（MPP）方法是什么？它有什么优势？
MPP是一种用于物理代理建模的自回归通用预训练方法，通过训练大型代理模型同时预测多个异质物理系统的动力学，学习跨任务广泛适用的特征。它引入共享嵌入和归一化策略，将多个系统的字段投影到单一共享嵌入空间。在流体力学基准测试中，MPP在预训练和下游任务上均优于特定任务基准模型，且无需微调；微调后对新物理现象的预测更准确。
Masked Frequency Modeling（MFM）是如何工作的？它在哪些任务上表现优异？
MFM是一种基于频域的自监督预训练方法，通过在图像的频率分量上进行掩蔽并预测丢失的频率信息来学习图像表示。实验证明，MFM在图像分类、语义分割和鲁棒性测试方面优于其他最近的基于掩蔽的图像建模方法。此外，研究还调查了传统图像恢复任务从频域角度进行表示学习的有效性。
PMI-Masking是什么？它相比随机掩码有什么改进？
PMI-Masking是一种基于点对互信息概念的掩码结构，用于替代以往不合理的随机掩码方法。实验结果表明，PMI-Masking在预训练效率和下游任务性能上均有所提高。
mDPPM方法如何利用无标签数据进行医学影像自监督学习？
mDPPM通过引入基于掩码的正则化来重新定义扩散模型的生成任务，从而将无标签数据用于自监督学习，从健康脑的样本级标签生成所需的表示，确保结果解剖一致。在包含肿瘤和多发性硬化症病变的数据集上评估，展示了无监督方法相对于现有完全/弱监督基线的优越性能。
