DynaMiCS是一种动态混合优化器,旨在多领域微调大型语言模型,提升目标领域性能的同时保持约束领域的性能。该方法通过短期领域特定探测估计交叉领域效应,并优化混合权重,以降低计算成本,实现更好的目标领域改进和约束满足。
完成下面两步后,将自动完成登录并继续当前操作。