本研究提出了一种新的参数高效调优(FPET)方法,旨在解决大型预训练模型的推理延迟和计算开销问题。FPET通过引入令牌冗余减少模块,提高了推理速度和训练效率,同时保持高存储效率,实验结果表明其在推理速度和内存效率上优于传统方法。
该研究通过神经切向核理论分析了参数高效调优与持续学习的关键因素,发现了泛化差距、训练样本数量、任务特征正交性和正则化对性能的影响。引入新的框架NTK-CL,提高了性能。该研究为改进持续学习模型提供了理论基础,有助于开发更高效的系统。
完成下面两步后,将自动完成登录并继续当前操作。