EsaCL：高效学习稀疏模型

本研究实证研究了Dynamic Sparse Training (DST)在连续学习中的影响。发现低稀疏度下使用Erdos-Renyi Kernel (ERK)初始化能更有效利用主干网络，高稀疏度下使用均匀初始化更可靠。增长策略的性能取决于初始化策略和稀疏度程度。适应性是提升连续学习效果的有希望的方法。