Attention Residuals 回忆录

这篇文章介绍我们的一个最新作品Attention Residuals（AttnRes），顾名思义，这是用Attention的思路去改进Residuals。不少读者应该都听说过Pre Norm/P...