高效的基于深度神经网络的软件与公平稀疏模型
原文中文,约400字,阅读约需1分钟。发表于: 。在软件 3.0 时代,将大型模型压缩集成到软件系统中已成为一种趋势,但是现有的模型压缩技术会对公平性性能产生负面影响。本文针对 Lottery Ticket Hypothesis (LTH) 修剪方法的公平性问题,提出了一种基于 Ballot 修剪框架的新颖方法,通过冲突检测的子网络选择和改进的训练流程来提高 DNN 软件的公平性。实验证明,Ballot...
该研究将“Lottery Ticket Hypothesis”(LTH)与“Knowledge Distillation”(KD)框架相结合,提出了三个剪枝模型,解决了推荐系统的可扩展性问题。实证评估结果显示,该方法在GPU计算能力上实现了高达66.67%的降低。该研究首次应用LTH和KD在推荐系统领域做出了贡献。