MO-EMT-NAS：不同数据集任务间架构知识的多目标连续迁移
内容提要
本文介绍了神经架构搜索（NAS）及其新方法NAT，旨在快速生成任务特定模型。NATv2改进了超网络结构，提升了性能。此外，研究探讨了多目标神经架构搜索（MONAS）和深度多模态神经网络架构搜索（MMnas），展示了其在多个任务和数据集上的有效性与优势。
延伸解读
从NAT到NATv2：超网络与后处理流水线的改进
NAT将已训练的超网络集成到在线迁移学习和多目标进化搜索中，以快速生成任务特定模型。NATv2则改进了超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，从而提升了NAT的质量。这表明NATv2在参数效率上具有优势，尤其适用于需要高性能结构且参数受限的场景。
多目标搜索与硬件度量的权衡
MONAS通过超网络对设备和多个目标进行参数化和条件化，在一次搜索中即可获得多设备上具有代表性和多样性的架构，实现性能与硬件度量之间的权衡。实验覆盖高达19个硬件设备和3个目标，并在ImageNet-1k上的MobileNetV3和机器翻译中的Transformer空间等不同搜索空间和数据集上，优于现有的多目标优化神经架构搜索方法。
多模态学习中的架构搜索进展
MMnas框架采用基于梯度的NAS算法，设计统一的编码器-解码器骨干网络，其中每个块从预定义操作池中搜索，并针对不同多模态任务设置特定头部。实验表明，MMnasNet在视觉问答、图像文本匹配和视觉定位三个任务上显著优于现有最先进方法，展示了NAS在多模态学习中的有效性。
跨任务迁移与基准数据集的作用
TransNAS-Bench-101基准包含七个视觉任务，提供两种搜索空间，旨在鼓励研究跨任务搜索效率和通用性。同时，基于多目标进化算法的循环神经网络架构搜索方法，在复杂度优化期间使用近似网络形态学，能够找到与手动设计架构性能相当但计算需求更低的新型架构。这些工作共同推动了架构知识在不同任务和数据集间的迁移。
Q&A
什么是神经架构传递（NAT）？
神经架构传递（NAT）是一种基于神经架构搜索（NAS）的方法，能够快速生成适用于多个应用场景的任务特定模型。
NATv2相比于NAT有哪些改进？
NATv2改进了超网络结构，提升了生成和抽取子网络的性能，并引入了精调的后处理流水线。
多目标神经架构搜索（MONAS）如何实现性能与硬件度量的权衡？
MONAS通过超网络实现性能和硬件度量之间的权衡，能够在多个设备上有效运行。
深度多模态神经网络架构搜索（MMnas）有什么优势？
MMnas通过基于梯度的NAS算法显著提高了多模态学习任务的性能，能够高效学习不同任务的最佳架构。
如何评估NAT在图像分类任务中的有效性？
NAT在11项基准图像分类任务中证明了其有效性，显示出其快速生成任务特定模型的能力。
未来神经架构搜索的研究方向是什么？
未来研究方向包括改进多目标优化过程的分类方法、目标函数及其随机性对搜索的影响。
