本研究提出了一种通过可学习的二进制掩码从大型音频基础模型中提取轻量化子网络的方法。该方法在不改变基础模型权重的情况下,提升了音频表示任务的性能,并降低了训练成本,适用于实时应用和消费级设备。
本研究提出了一种通过优化二进制掩码而不是模型权重的新方法,以提高随机联合学习的通信效率。实验证明,该方法在通信和内存效率方面显著提高,准确性几乎没有下降。
完成下面两步后,将自动完成登录并继续当前操作。