可缝合神经网络
内容提要
这篇文章介绍了可缝合神经网络的概念，允许创建具有不同复杂性和性能权衡的多个神经网络。讨论了锚点选择、缝合层设计、缝合方向和策略以及训练策略。通过锚点之间的插值性能曲线，可以预测组合的最终性能，从而可以根据不同的部署场景选择性地预训练缝合。
延伸解读
锚点选择：领域一致性的重要性
文章强调，选择锚点时应确保预训练模型来自相同领域。因为不同任务或领域的模型学到的表示差异很大，如果混合不同领域的锚点，缝合后的网络可能因表示分布不一致而性能下降。因此，在实际应用中，应优先从同一领域（如均为图像分类）的预训练模型家族中选取锚点，以降低缝合难度并提高组合后的准确性。
缝合层初始化：最小二乘法的闭式解
缝合层的设计基于预训练模型，利用最小二乘法求解变换矩阵。具体地，给定两个相同空间尺寸但通道数不同的特征图A和B，通过求解||AM_o - B||的最小化问题，得到最优变换矩阵M_o = A†B，其中A†是A的Moore-Penrose伪逆。这一闭式解基于奇异值分解，可通过正交投影高效计算，为缝合层提供了准确的初始化，避免了随机初始化带来的训练不稳定。
缝合方向与策略：从快到慢与最近缝合
SN-Net默认采用从快到慢的缝合方向，即将较大较慢的网络缝合在较小较快的网络之后，以提升模型性能。此外，文章还提出了最近缝合策略，限制仅在模型复杂度或性能最接近的两个锚点之间进行缝合。这种策略有助于减少表示差异，使缝合后的网络更稳定，同时为不同部署场景提供了灵活性。
缝合空间与训练：滑动窗口与共享表示
SN-Net利用滑动窗口在相同尺度特征图的邻近层之间共享缝合层，因为邻近层通常学习相似的表示。缝合空间由滑动窗口的核大小k和步长s控制，调整这些参数可以平衡缝合的灵活性与参数量。训练策略则针对缝合层进行优化，以在预训练模型基础上高效地组合出不同复杂度的网络，满足多样化的部署需求。
Q&A
什么是可缝合神经网络？
可缝合神经网络是一种允许从预训练模型家族中创建多个具有不同复杂性和性能权衡的神经网络的架构。
选择锚点时需要注意什么？
选择锚点时，应确保预训练模型在相同领域内，以避免不同领域之间的表示差异。
SN-Net的缝合层是如何设计的？
缝合层的设计基于预训练模型，利用最小二乘法求解准确的变换矩阵。
SN-Net的默认缝合方向是什么？
SN-Net默认采用从快到慢的缝合方向，以提高模型性能。
如何通过滑动窗口方法实现缝合？
SN-Net使用滑动窗口方法，在相同尺度特征图的邻近层之间共享相似表示。
SN-Net的训练策略是怎样的？
SN-Net的训练策略通过特定算法进行总结，以优化模型性能。
