大象神经网络：天生的持续学习耠

BriefGPT - AI 论文速递 · 2023-10-02T00:00:00Z

本研究提出了一种名为 elephant 激活函数的新类别的激活函数，它能够生成稀疏表示和稀疏梯度，通过用 elephant 激活函数替换传统激活函数，可以显著提高神经网络对遗忘的韧性。该方法在回归、类递增学习和强化学习任务中都具有广泛的适用性和益处。