通过最优输运实现元剪枝
内容提要
该文综述神经网络剪枝与模型融合研究：利用最优传输对齐神经元实现知识转移与Transformer压缩；结合Gumbel-Softmax端到端优化权重与拓扑，大幅压缩且保持精度；对预训练Transformer稀疏剪枝可达20倍压缩；稀疏正则化提升ViT剪枝精度，高稀疏训练在视觉与语言任务达领先水平。
延伸解读
最优传输：跨模型对齐的通用工具
文章多次提到最优传输在模型融合与剪枝中的应用。它通过将不同模型的神经元对齐，实现参数平均化，从而完成一次性知识转移。这种方法不仅能融合不同大小的Transformer网络，还能在图像分类和自然语言建模任务中提升性能与压缩率。对于需要整合多个预训练模型的场景，最优传输提供了一种理论驱动的对齐思路，但实际效果可能受模型结构差异影响。
端到端剪枝：Gumbel-Softmax与可解释性
文章介绍了一种结合Gumbel-Softmax的剪枝框架，能在端到端训练中同时优化权重和拓扑结构。在MNIST数据集上，它仅用原始网络0.15%的参数就保持了高准确率。此外，该方法还能提取特征重要性、可视化特征对称性和信息传递路径，增强了模型可解释性。这提示我们，剪枝不仅是压缩手段，也可能成为理解网络内部机制的工具。
稀疏剪枝在Transformer上的显著优势
针对预训练Transformer，文章指出稀疏剪枝比通道或层压缩更有效。基于GLUE数据集的实验表明，知识感知的稀疏剪枝可实现20倍的参数或FLOPs压缩，且性能损失不明显。同时，对视觉Transformer的研究发现，稀疏正则化后的模型剪枝能提高精度。这些结果说明，在高稀疏度下，合理的正则化和剪枝策略对维持甚至提升模型表现至关重要。
高稀疏训练的挑战与最新进展
文章探讨了高稀疏性对模型训练的影响，并提出了解决稀疏训练困难的新方法。在标准计算机视觉和自然语言处理稀疏基准上，该方法在高稀疏环境下取得了最先进的结果。这表明，尽管极端稀疏化可能带来优化难题，但通过针对性的训练策略，仍能在视觉和语言任务中实现高效压缩与精度平衡。
Q&A
什么是最优输运在神经网络剪枝中的应用？
最优输运用于对齐不同模型中的神经元，通过平均参数实现一次性知识转移，提高模型性能和压缩率。
如何利用Gumbel-Softmax进行端到端的网络剪枝？
通过Gumbel-Softmax技术，在端到端过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现卓越压缩，在MNIST上仅用0.15%参数保持高准确率。
稀疏剪枝对预训练Transformer的压缩效果如何？
知识感知的稀疏剪枝方法可以实现20倍的参数/FLOPs压缩，并且在GLUE数据集上不会明显损失模型性能。
稀疏正则化如何提升视觉Transformer的剪枝精度？
应用稀疏正则化和修剪方法于视觉Transformer，发现正则化模型修剪相较于非正则化模型修剪可提高精度。
高稀疏训练在视觉和语言任务上取得了什么成果？
使用标准稀疏基准测试，探讨高稀疏性对模型训练的影响，提供解决稀疏训练困难的新方法，并在高稀疏性环境下实现了视觉模型和语言模型上最先进的结果。
基于最优输运的层对齐方法如何压缩不同大小的Transformer？
该方法能够融合不同大小的Transformer网络，提供了一种压缩Transformer的新方法，并在图像分类和自然语言建模任务中表现出优越性能。
