该研究提出了一种简单修改的方法,利用单独的标准化层对标记和[CLS]符号进行处理,以增强下游任务的性能。实验证明,使用单独的标准化层可以更好地编码全局上下文信息,并在其非均匀空间中分布更加均匀。将传统的标准化层替换为两个单独的层后,观察到图像、自然语言和图形领域的平均性能提高了2.7%。
完成下面两步后,将自动完成登录并继续当前操作。