关于自监督 Transformer 中的分离归一化

BriefGPT - AI 论文速递 · 2023-09-22T00:00:00Z

该研究提出了一种简单修改的方法，利用单独的标准化层对标记和[CLS]符号进行处理，以增强下游任务的性能。实验证明，使用单独的标准化层可以更好地编码全局上下文信息，并在其非均匀空间中分布更加均匀。将传统的标准化层替换为两个单独的层后，观察到图像、自然语言和图形领域的平均性能提高了2.7%。