如何让GDN2更稳定一些？
📝
内容提要
我们知道，DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵（参考《线性注意力简史：从模仿、创...
➡️
我们知道，DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵（参考《线性注意力简史：从模仿、创...
