看前或看周围？自回归与掩码预训练之间的理论比较
内容提要
本研究提出了掩蔽图自编码器（GraphMAE），旨在解决对比学习的不足，专注于特征重建，取得了优异的表现。文章综述了掩膜自编码器在自监督学习中的应用，探讨了时间序列分析中的对比和生成方法，并比较了经典算法的优劣。此外，研究还介绍了MetaMAE和SMART等新方法，展示了它们在多模态任务中的有效性和性能提升。
延伸解读
自回归与掩码预训练的理论对比
文章从理论层面比较了自回归和掩码预训练方法。自回归模型（如GPT系列）通过预测下一个词来学习，而掩码模型（如BERT）通过预测被掩码的词来学习。两者在预训练任务、注意力机制和适用场景上存在差异。自回归模型更适合生成任务，掩码模型更适合理解任务。文章可能探讨了两种方法在表示学习能力、训练效率和泛化性能上的理论差异，为选择预训练方法提供依据。
掩码自编码器在自监督学习中的演进
文章综述了掩码自编码器（MAE）在自监督学习中的发展，从GraphMAE到GraphMAE2、Forecast-MAE和MetaMAE等变体。这些方法通过特征重建和掩码策略，在视觉、图和时间序列等领域取得优异性能。GraphMAE2引入多视角随机重新覆盖解码策略，Forecast-MAE专为运动预测设计，MetaMAE通过元学习提升跨模态性能。这些进展表明掩码自编码器已成为自监督学习的重要框架。
对比学习与生成方法的实证比较
文章在时间序列分析中对比了对比学习和生成式自监督学习方法。通过实现经典算法SimCLR和MAE，并在公平环境下比较，结果揭示了两种方法的优势和劣势。对比学习侧重于实例间的区分，生成方法侧重于数据重建。文章为选择合适方法提供了实用建议，并指出未来研究方向。该比较有助于理解不同自监督学习范式在时间序列任务中的适用性。
Q&A
掩蔽图自编码器（GraphMAE）有什么优势？
GraphMAE专注于特征重建，解决了对比学习的不足，表现优异。
掩膜自编码器在自监督学习中的应用有哪些？
掩膜自编码器在视觉模式识别领域有广泛应用，包括历史发展和最新进展。
对比学习和生成学习在时间序列分析中的表现如何？
对比学习和生成学习在时间序列分析中各有优势，文章提供了经典算法的比较分析。
MetaMAE是如何提高掩蔽自编码器性能的？
MetaMAE通过元学习提高掩蔽自编码器的性能，实验证明其在自监督学习基准中的优越性。
Forecast-MAE的设计目的是什么？
Forecast-MAE专为运动预测任务设计，实验表明其性能优于以前的自我监督学习方法。
SMART训练方法的创新点是什么？
SMART通过模仿半自回归行为，提高翻译质量，缩小了半自回归和全自回归模型之间的性能差距。
