具有无误差可微交换函数的广义神经排序网络
原文中文,约300字,阅读约需1分钟。发表于: 。计算机系统中的排序是一项基础操作,这篇论文研究了排序问题的抽象输入和神经排序网络,通过差分排序网络的不同性实现高维输入到序数变量的映射,并采用多头注意力的置换等变转换网络来捕捉给定输入之间的依赖关系和提升模型准确性。实验结果表明,这些方法在不同的排序基准上表现优于或与基准方法相当。
SortedNet是一种高效动态推断的深度神经网络解决方案,考虑了子模型的嵌套架构和共享参数,并以排序和概率的方式一起训练主模型和子模型。在推断过程中,无需搜索即可选择子网络,并且生成的子网络具有最小的存储要求和高效的切换能力。实验证明该方法的有效性,并演示了在同时训练多达160个不同子模型的广泛可扩展性。