本论文介绍了一种名为Conformer的混合网络结构，利用卷积操作和self-attention机制进行增强表示学习。实验证明，Conformer在ImageNet上优于visual transformer（DeiT-B）2.3％，在MSCOCO上，在目标检测和实例分割方面都优于ResNet-101，具有成为通用主干网络的潜力。

本文介绍了一种名为SO3krates的Transformer架构，它结合了稀疏的等变表示和能够分离不变和等变信息的self-attention机制，从而消除了昂贵的张量积的需要。SO3krates实现了准确性、稳定性和速度的独特结合，使得我们能够在前所未有的时间和系统尺度上对物质的量子性质进行深入分析。