BriefGPT - AI 论文速递 · 2023-10-02T00:00:00Z

大象神经网络：天生的持续学习耠

📝

内容提要

本研究提出了一种名为 elephant 激活函数的新类别的激活函数，它能够生成稀疏表示和稀疏梯度，通过用 elephant 激活函数替换传统激活函数，可以显著提高神经网络对遗忘的韧性。该方法在回归、类递增学习和强化学习任务中都具有广泛的适用性和益处。

🏷️

标签

激活函数 神经网络 稀疏表示 遗忘问题 韧性