BriefGPT - AI 论文速递 · 2023-10-12T00:00:00Z

神经电路中连通性结构对丰富与懒散学习的塑造

📝

内容提要

研究发现，高秩的初始权重会导致懒惰的学习，而低秩的初始权重则倾向于更丰富的学习。然而，与任务和数据统计信息一致的低秩初始权重仍可能导致懒散学习。初始权重结构在塑性代谢成本和灾难性遗忘风险方面起关键作用。

🏷️

标签

初始权重 塑性代谢成本 学习机制 灾难性遗忘 神经网络