可折叠超网络：可扩展地合并具有不同初始化和任务的变换器

BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

神经参数分配搜索（NPAS）通过自动优化参数共享来提升网络权重。我们解决了之前方法中的不一致问题，改进了参数相似性测量，并利用梯度信息识别分歧层。实验显示，我们的方法在ImageNet和CIFAR数据集上提升了性能，能在多个网络架构中高效生成参数，支持高效集成和任意时间预测，使用更少参数实现更好性能。