模型参数作知识通用载体，MergeNet离真正的异构知识迁移更进一步

AIxiv专栏促进了学术交流，报道了2000多篇文章。

研究团队提出MergeNet框架，解决异构模型间的知识迁移问题。

MergeNet显著提升了跨结构、跨模态和跨任务的迁移效果。

知识转移方法主要有知识蒸馏和迁移学习。

传统知识迁移方法依赖于模型结构或特定任务特征的共享元素。

在物联网应用中，不同设备面临不同的计算资源和任务需求，增加了知识迁移的挑战。

MergeNet框架旨在建立跨异构模型架构、任务与模态的通用知识迁移框架。

研究团队提出使用模型参数作为知识的通用载体。

引入参数适配器以促进异构模型间知识的直接交互。

MergeNet的训练过程分为自学习和互学习两个阶段。

实验结果显示MergeNet在多个知识迁移场景中均有显著提升。

跨结构知识转移实验中，MergeNet在MobileNetV2上实现了1.02%的准确率提升。

跨模态知识转移实验中，MergeNet显著提升了准确率。

跨任务知识转移实验中，MergeNet在两个任务上均实现了性能提升。

消融实验表明自学习的比例对知识转移周期有积极影响。

MergeNet的各组件有效性通过消融研究得到了验证。