Continual Optimization with Symmetry Teleportation for Multi-Task Learning
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种基于对称传输持续优化(COST)的方法,旨在解决多任务学习中的优化冲突和任务不平衡问题。COST通过寻找损失景观中的等效点,显著提升了多任务学习的性能,展现出良好的通用性。
🎯
关键要点
- 本研究提出了一种基于对称传输持续优化(COST)的方法,旨在解决多任务学习中的优化冲突和任务不平衡问题。
- COST通过寻找损失景观中的等效点来降低优化冲突。
- 该方法利用低秩适配器(LoRA)设计收敛且不变的目标。
- 实验结果表明,COST显著提升了现有多任务学习方法的性能,展现出良好的通用性。
➡️