BriefGPT - AI 论文速递
·
视觉模型的同构剪枝
📝
内容提要
通过去除冗余子结构，结构剪枝减少了深度神经网络的计算开销。鉴于先进的视觉模型具有自注意力、深度卷积或残差连接等新机制和新架构，评估不同子结构的相对重要性仍然是一个重大挑战。为了克服这个问题，我们提出了同构剪枝，这是一种简单的方法，在视觉变换器和卷积神经网络等多种网络架构上都展现了有效性，并在不同模型大小上提供了竞争性能。同构剪枝源自一个观察，即在预定义的重要性标准下评估时，异构子结构的重要性...
➡️
