本研究提出SECURA微调方法,旨在解决大语言模型的高计算需求和灾难性遗忘问题。通过引入SigNorm技术,显著提升了微调性能和知识保持能力。
本研究提出了SMI指标,解决了封闭书籍问答任务中大型语言模型表现的预测问题,强调了数据构建和知识保持的挑战。实验证明SMI与模型准确性之间存在强线性相关性,为资源优化和数据对齐提供了重要见解。
本研究提出了联邦尾锚(FedTA)方法,旨在解决联邦持续学习中的数据异构性问题,增强特征空间调整能力,提高模型的知识保持能力。实验证明该方法在多种任务中表现优异。
本文提出了一种新型持续学习算法,结合参数分布学习与动态正则化,有效解决知识保持和灾难性遗忘问题。实验结果显示,该算法在多种序列数据集上优于现有方法。
我们研究了大规模语言模型的事实知识随时间的保持情况,设计了动态基准评估18种模型的知识更新能力,并比较了知识编辑与检索增强生成的方法。
完成下面两步后,将自动完成登录并继续当前操作。