本研究提出了Matformer，一种用于周期性图表示学习的转换器架构，具备周期性不变性和显式重复模式编码。实验结果显示，Matformer在多个基准数据集上优于现有方法，强调了周期性不变性在晶体表示学习中的重要性。

NormFormer 结构通过规范化操作解决 Pre-LayerNorm transformer 的梯度幅度失配问题，改善语言模型的预训练感知度和下游任务表现。使用 NormFormer 结构进行掩蔽语言建模可提高预训练过程的 GLUE 性能 1.9%。