InterroGate: 学习共享、专精和修剪多任务学习的表示
内容提要
本文综述多任务学习进展，涵盖潜在体系结构方法（在OntoNotes 5.0四任务上平均误差降低15%）、ETR-NLP（以任务无关特征重组减少干扰并优于基线）、稀疏专家混合与任务感知门控（提升泛化与鲁棒性）、计算机视觉密集预测任务综述、可调计算预算与任务重要性模型、Transformer条件注意机制（促进权重共享，八任务超Adapter 2.8%）、任务路由适配数百任务、二进制参数共享（在Omniglot减误17%）、手术报告生成应对领域偏移，以及可控Pareto框架实现实时权衡。
延伸解读
多任务学习的技术演进脉络
从2017年到2023年，多任务学习经历了从潜在体系结构到参数共享、稀疏专家、条件注意等方法的演进。早期方法在OntoNotes 5.0上实现15%平均误差降低，后续ETR-NLP通过任务无关特征重组减少干扰，稀疏专家混合提升泛化与鲁棒性，Transformer条件注意促进权重共享并在八任务上超Adapter 2.8%。这些进展显示研究重心从单纯共享表示转向更精细的任务交互与参数效率。
参数共享策略的多样化探索
文章涵盖了多种参数共享机制：二进制参数共享在Omniglot上实现17%相对误差减小，任务路由适配数百个分类任务，条件注意机制保持预训练模型一半权重以缓解遗忘。这些方法表明，共享模式的设计直接影响模型性能与可扩展性。读者可关注不同共享策略在任务数量、领域偏移和计算开销之间的权衡，而非追求单一最优方案。
实际部署中的灵活性与领域适应
多任务学习正走向实际应用：可调计算预算与任务重要性模型允许部署后调整性能权衡而无需重新训练；可控Pareto框架通过超网络实现实时权衡控制；手术报告生成任务则针对领域偏移和新奇工具出现，达到与单任务模型相媲美的性能。这些工作提示，未来多任务系统需兼顾动态用户需求与跨领域鲁棒性。
Q&A
InterroGate 在 OntoNotes 5.0 上的多任务学习效果如何？
InterroGate 在 OntoNotes 5.0 的四种任务上实现了高达 15% 的平均误差降低率，优于以往任何学习潜在体系结构的多任务方法。
ETR-NLP 是如何减少任务干扰的？
ETR-NLP 通过非可学习的原始提取多样的任务无关特征，并将其重新组合到一个共享分支和各个任务的显式分支中，从而减少任务干扰。
稀疏专家混合模型和任务感知门控在多任务学习中有什么作用？
它们结合使用可以成功提高模型的泛化能力、迁移学习效果和鲁棒性。
如何在不重新训练的情况下调整多任务模型的计算预算和任务重要性？
提出一种多任务模型，允许用户在部署后调整所需的计算预算和任务性能的相对重要性，无需重新训练，从而为动态变化的用户需求优化性能。
Transformer 条件注意机制在多任务学习中有什么优势？
通过新的条件注意机制和任务条件模块，促进权重共享，实现更有效的参数共享，并通过保持预训练模型的一半权重来缓解遗忘。在 GLUE 上，八任务模型超过其他 Adapter 方法 2.8%。
任务路由方法能适配多少个任务？
任务路由方法在单个模型中成功适配了数百个分类任务，并在 5 个数据集上验证了其性能。
二进制参数共享在多任务学习中取得了什么效果？
通过学习精细的参数共享模式，使用二进制变量与模型参数共同反向传播，在 Omniglot 基准测试中实现了 17% 的相对误差减小。
可控 Pareto 多任务学习框架的作用是什么？
该框架用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。
