基于滤波器相关性进行深度模型压缩
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了一种基于滤波器相关性进行深度模型压缩的方法。该方法通过迭代识别相关性最大的滤波器对，并优化模型以增强其相关性。在每轮去除滤波器后，进行微调以恢复因压缩造成的轻微损失。最终，通过选择最大相关性的滤波器对进行修剪和微调，从而减少模型参数。
🎯
关键要点
- 本文介绍了一种基于滤波器相关性进行深度模型压缩的方法。
- 该方法通过迭代识别相关性最大的滤波器对，并优化模型以增强其相关性。
- 每轮去除滤波器后，进行微调以恢复因压缩造成的轻微损失。
- 从每层选择最大相关性的N对滤波器，称为一个episode。
- 优化过程中应用新的正则化项以提高滤波器对的相关性。
- 在增加滤波器对的相关性后，可以从每对中修剪一个滤波器。
- 最终模型参数集减少，进行微调以适应新的参数集。
➡️
