利用任务向量和学习的各向异性缩放进行知识组合
内容提要
本文提出了一种基于任务向量的神经网络新范式，强调权重分离在任务算术中的有效性。研究表明，向量表示方法能提升类人智能的认知能力，并提出了高效的多任务学习方法ScaLearn，显著减少参数传递。此外，介绍了'SYN2REAL'任务向量，改善了语音识别领域的适应性，降低了词误差率。最后，探讨了多任务学习中的线性标量化与多目标优化的关系，揭示了SMTOs的潜力。
延伸解读
任务向量与权重分离的机制
文章指出，任务向量通过在微调模型的权重空间中计算权重差得到，并可通过加和、否定等算术操作编辑模型。权重分离被强调为任务算术有效的关键因素之一，这为编辑预训练模型提供了更可靠的方法。理解这一机制有助于读者把握任务向量范式的核心优势。
ScaLearn：高效多任务学习
ScaLearn是一种两阶段多任务学习方法，通过线性缩放源任务的输出表示，仅学习少量扩展参数。实验证明，它在保持强大能力的同时，显著减少了传递参数，展现了简单扩展作为高效任务传递的潜力。这为多任务学习中的参数效率问题提供了新思路。
SYN2REAL：语音识别领域适应
针对文本领域自动语音识别中的领域适应问题，文章介绍了'SYN2REAL'任务向量，通过创建该向量解决合成语音与真实语音之间的差异。在SLURP数据集上，平均词误差率提升了11.15%，突显了任务向量在增强语音领域适应性方面的潜力。
多任务优化：标量化与SMTOs
文章从理论角度重新审视线性标量化，发现线性多任务学习模型无法完全探索帕累托前沿，特别是那些在多个任务间取得平衡权衡的帕累托最优解。实验证实了这一发现，并揭示了专用多任务优化器（SMTOs）在寻求平衡解决方案方面的潜力。
Q&A
什么是基于任务向量的神经网络新范式？
基于任务向量的神经网络新范式通过权重差计算和算术操作来编辑模型，强调权重分离在任务算术中的有效性。
ScaLearn方法有什么优势？
ScaLearn方法通过只学习一小部分扩展参数，显著减少了参数传递，同时保持了强大的能力。
'SYN2REAL'任务向量在语音识别中有什么应用？
'SYN2REAL'任务向量用于解决合成语音和真实语音之间的差异，提升了语音识别的适应性，降低了词误差率。
多任务学习中的线性标量化与多目标优化有什么关系？
线性标量化是多任务学习的默认选择，而多目标优化器（SMTOs）则提供了对多任务学习的新视角，研究表明线性标量化无法全面探索帕累托前沿。
如何提高类人智能的认知能力？
通过基于向量的表示方法，可以提升类人智能的认知能力，这与神经科学研究的结果一致。
任务算术的机制是什么？
任务算术通过线性化对任务进行微调，强调权重分离是其有效性的关键因素，并显著提升多个任务的表现。
