基于 Hessian 的低秩权重扰动用于不间断学习

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究提出了一种基于Hessian矩阵感知的低秩扰动算法,用于连续学习。该算法通过在神经网络的每一层上应用任务自适应参数的低秩近似,将参数转换建模为序列任务的权重矩阵转换。实验证明了该方法的有效性和可扩展性,并与其他方法进行了比较。

🏷️

标签

➡️

继续阅读