少即多 —— 利用结构稀疏性构建简约的多任务模型
原文中文,约200字,阅读约需1分钟。发表于: 。将结构组稀疏性引入共享参数的多任务学习框架中,通过在共享层中使用通道级别的 l1/l2 组稀疏性,以开发出能够有效处理多个任务的简化模型,其参数更少且性能可与密集模型相媲美或更优。
本研究提出了一种基于可解释的attention mechanism的网络修剪方法,能在保持准确率的前提下实现模型压缩和加速,适用于各种深度神经网络。实验证明,在Cifar-100数据集上取得了最高的稀疏度和加速比,与最佳方法相比准确率相当;在MNIST和LeNet架构上也取得了最高的稀疏度和加速比。