EsaCL:高效学习稀疏模型
原文中文,约400字,阅读约需1分钟。发表于: 。提出了一种用于高效学习稀疏模型的新方法,该方法能够自动修剪冗余参数而不降低模型的预测能力,并且避免了重新训练的需要。通过理论分析和设计的修剪和数据选择策略,实验结果表明该方法在减少存储和计算资源的同时,能够在连续学习任务上达到与现有方法相媲美的性能。
本研究实证研究了Dynamic Sparse Training (DST)在连续学习中的影响。发现低稀疏度下使用Erdos-Renyi Kernel (ERK)初始化能更有效利用主干网络,高稀疏度下使用均匀初始化更可靠。增长策略的性能取决于初始化策略和稀疏度程度。适应性是提升连续学习效果的有希望的方法。