可伸缩的神经网络核

本文介绍了可扩展的神经网络内核(SNNK)及其应用于压缩深度神经网络架构的神经网络捆绑过程。SNNK能够模拟超出参数-输入矢量点积函数之外的复杂关系，通过神经网络捆绑过程，可将可训练参数的数量减少5倍，同时保持准确性。该文还介绍了通用随机特征(URFs)机制，用于实例化多种SNNK变体，并进行了理论分析和实证评估。