多任务学习的参数高效模块可定制组合
原文中文，约400字，阅读约需1分钟。发表于：。模块化和可组合的迁移学习是参数高效微调领域的新兴方向，它使神经网络能更好地组织各种知识方面，提高跨任务泛化能力；本文介绍了一种新的方法 Customized Polytropon C-Poly，它结合了任务共同技能和任务特定技能，并使用低秩技术对技能参数进行高度参数化；每个任务关联着可定制数量的专属专业技能，并从与同伴任务共享的技能中受益；共同学习了技能分配矩阵；通过在...
本文介绍了一种新的方法Customized Polytropon C-Poly，它结合了任务共同技能和任务特定技能，并使用低秩技术对技能参数进行高度参数化。C-Poly在多任务学习场景下通过共同学习技能分配矩阵，显著提高了样本效率，优于基线方法，提高了跨任务泛化能力。
