DMS：直接可微的网络搜索方法，最快仅需单卡10分钟 | ICML 2024 - 晓飞的算法工程笔记
内容提要
Differentiable Model Scaling (DMS)是一种高效且多功能的模型缩放方法，以直接且完全可微的方式建模宽度和深度。与以前的NAS方法相比，DMS具有三个优势：1）DMS在搜索过程中高效且易于使用。2）DMS实现了与SOTA NAS方法相媲美的高性能。3）DMS与各种任务和架构兼容。该论文引入了可微分的topk运算符以直接和可微分的方式建模结构超参数，并提出了DMS算法来搜索网络的最佳宽度和深度。在性能或搜索成本方面，DMS优于以前的SOTA方法。
延伸解读
可微分Top-k如何解决梯度估计难题
传统NAS中，直接建模宽度和深度常面临不可微问题，需依赖梯度估计，导致优化不稳定。DMS引入可微分Top-k算子，通过重要性归一化将任意分布的元素重要性映射为均匀分布，再使用Sigmoid软掩码生成可微的0/1近似。这样，可学习阈值a能直接表示剪枝比例，并接收来自任务损失和资源约束损失的梯度，实现完全可微的端到端优化，避免了梯度估计带来的偏差。
搜索成本与性能的平衡：DMS的三种流水线
DMS提供三种流水线变体以适应不同场景。DMS_p包含预训练、搜索和重训练，适合与剪枝方法公平比较；DMS_np去除预训练，直接从随机初始化超网络搜索，是默认且最常用的方案，在性能和效率上更优；DMS_p-仅优化结构参数，不重训练，用于快速比较搜索方法，在单张RTX3090上不到10分钟即可完成搜索。这种设计让用户能根据资源预算灵活选择。
更精细的搜索空间：宽度和深度的联合优化
与多数NAS方法在粗粒度空间（步长32）搜索不同，DMS在宽度和深度上以步长1进行精细搜索，覆盖卷积通道数、全连接特征维度以及残差阶段块数。虽然精细空间更难搜索，但DMS的可微分Top-k能有效处理，实验表明其能达到更好性能。同时，通过资源约束损失，用户可指定目标资源消耗，引导搜索满足特定约束，提升了实际部署的灵活性。
Q&A
DMS方法的主要优势是什么？
DMS方法在搜索过程中效率高、易于使用，并且实现了与SOTA NAS方法相媲美的高性能，兼容多种任务和架构。
DMS如何建模网络的宽度和深度？
DMS通过引入可微分的topk运算符，以直接和可微分的方式建模网络的宽度和深度。
DMS在搜索效率上与其他NAS方法相比如何？
DMS在搜索过程中只需0.4 GPU天，优于其他NAS方法，且在性能或搜索成本方面表现更佳。
DMS算法的应用场景有哪些？
DMS算法经过严格测试，适用于视觉任务和自然语言处理（NLP）任务。
DMS如何解决结构超参数建模的挑战？
DMS通过可微分的topk方法，直接建模结构超参数，克服了以往方法的不可微分问题。
DMS的搜索空间包含哪些内容？
DMS的搜索空间涵盖了网络的宽度和深度，使用可微分的topk方法表示。
