晓飞的算法工程笔记
·
SLS：整层剪掉！基于降维特征聚类的PETL模型剪枝新方法 | ECCV'24 - 晓飞的算法工程笔记
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
本文提出了一种针对PETL模型的剪枝方法SLS，通过特征级分析评估参数重要性，有效解决冗余参数问题。SLS在VTAB-1k基准测试中优于传统剪枝方法，提升了模型的存储效率和准确性，并动态识别冗余参数，确保剪枝过程不增加存储开销。
🎯
关键要点
- 提出了一种针对PETL模型的剪枝方法SLS，解决冗余参数问题。
- SLS通过特征级分析评估参数重要性，提升模型存储效率和准确性。
- 在VTAB-1k基准测试中，SLS优于传统剪枝方法DepGraph。
- PETL模型中存在大量冗余参数，SLS动态识别并剪除这些参数。
- SLS保持与PETL转移方法相同的存储参数数量，避免额外训练。
- 使用t-SNE算法和SC_Index评估层特征，做出剪枝决定。
- SLS剪枝过程不会增加存储开销，直接进行剪枝。
- 实验结果表明，SLS在模型吞吐量和准确性之间实现了显著平衡。
➡️
