本研究首次将标记修剪应用于基于ViT的音频分类模型,优化了性能与计算成本的平衡。结果显示,TopK标记修剪可减少30-40%的MAC操作,分类准确率仅下降不到1%。高强度标记对准确性贡献显著,低强度标记在音频分类中同样重要。
本研究提出了一种名为SpeechPrune的标记修剪策略,旨在解决语音大型语言模型处理长语音输入的局限性。该策略通过语音-文本相似性和注意力分数剔除无关标记,在SPIRAL基准测试中,20%的修剪率下精度提升29%,并在高达80%的修剪水平下保持网络性能。
完成下面两步后,将自动完成登录并继续当前操作。