晓飞的算法工程笔记
·
DeepViT：字节提出深层ViT的训练策略 | 2021 arxiv - 晓飞的算法工程笔记
💡
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
作者发现深层ViT存在注意力崩溃问题，提出Re-attention机制以解决该问题。该机制在增加ViT深度时有效提升性能，同时计算和内存开销较小。Re-attention通过可学习的方式在多头自注意力中实现信息交换，增强注意力图的多样性，克服深层模型的性能瓶颈。
🎯
关键要点
- 深层ViT存在注意力崩溃问题，导致性能提升缓慢并快速饱和。
- Re-attention机制通过可学习的方式在多头自注意力中实现信息交换，增强注意力图的多样性。
- 使用Re-attention替换ViT中的MHSA模块，可以在不增加额外数据增强和正则化策略的情况下训练更深的ViT模型。
- 注意力崩溃是造成ViT不可扩展问题的根本原因，增加embedding维度可以缓解这一问题，但会增加计算成本。
- Re-attention通过动态聚合多个Head的注意力图，重新生成新的注意力图，从而提高深层ViT的性能。
❓
延伸问答
深层ViT的注意力崩溃问题是什么？
深层ViT的注意力崩溃问题是指随着网络深度增加，各层计算的注意力图逐渐变得相似，导致模型性能提升缓慢并快速饱和。
Re-attention机制是如何解决注意力崩溃问题的？
Re-attention机制通过可学习的方式在多头自注意力中实现信息交换，动态聚合多个Head的注意力图，重新生成新的注意力图，从而增强注意力图的多样性。
使用Re-attention替换MHSA模块有什么好处？
使用Re-attention替换MHSA模块可以在不增加额外数据增强和正则化策略的情况下，训练更深的ViT模型并提升性能。
增加embedding维度对ViT模型有什么影响？
增加embedding维度可以增强每个token的表达能力，减少具有相似注意力图的层数，从而缓解注意力崩溃，但会增加计算成本。
深层ViT的性能提升为何会快速饱和？
深层ViT的性能提升快速饱和是因为注意力崩溃问题，导致后续层的注意力图相似性过高，无法有效学习特征。
Re-attention机制的计算和内存开销如何？
Re-attention机制的计算和内存开销较小，能够在增加ViT深度时保持性能提升。
➡️
