本文提出了一种自适应梯度调制方法,以提升多模态模型的性能,并引入新指标来衡量模态竞争强度。通过动态调整模态学习速度,解决了优化失衡问题,显著提高了多模态任务的效果。此外,研究结合了对比学习和对抗学习,进一步优化了多模态任务的性能。
完成下面两步后,将自动完成登录并继续当前操作。