本研究提出了一种新方法（ATM），通过优化任务向量选择，提高多任务学习中的模型合并效率，计算机视觉和自然语言处理任务的准确率最高可提升20%。

本研究探讨了视觉-语言模型(VLM)的内部表示及任务表示方法，发现概念相似的任务在任务向量表示上具有相似性，且示例和指令驱动的任务向量组合能够产生更优的任务表示，揭示了模型的跨模态能力。

本文提出了一种基于任务向量的神经网络新范式，强调权重分离在任务算术中的有效性。研究表明，向量表示方法能提升类人智能的认知能力，并提出了高效的多任务学习方法ScaLearn，显著减少参数传递。此外，介绍了'SYN2REAL'任务向量，改善了语音识别领域的适应性，降低了词误差率。最后，探讨了多任务学习中的线性标量化与多目标优化的关系，揭示了SMTOs的潜力。

本文综述大语言模型上下文学习（ICL）研究，指出ICL可被恶意上下文操纵以增减越狱概率，ICLAttack通过毒化示例提升隐蔽性；ICL对标签扰动敏感性低于监督学习，黄金标签影响显著；ICL结构简单，可压缩为任务向量；其鲁棒性更多受预训练语料与监督方法影响；ICL机制含任务识别与任务学习；自动上下文学习框架可自主生成示例且性能出色。

本文综述大语言模型上下文学习（ICL）新范式，涵盖训练与演示设计策略、挑战及未来方向。研究表明ICL可压缩为任务向量，其表现更受预训练语料与监督方法影响，而非模型规模；ICL可模拟核回归与梯度下降，语音模型经热启动训练也能实现ICL，小模型经微调亦可具备该能力。