本研究提出SECURA,一种针对大语言模型的有效微调方法,旨在解决高计算需求和灾难性遗忘问题。通过引入SigNorm归一化技术,SECURA显著提升了微调性能,并在持续学习测试中展现出优越的知识保持能力。
本研究提出了SMI指标,解决了封闭书籍问答任务中大型语言模型表现的预测问题,强调了数据构建和知识保持的挑战。实验证明SMI与模型准确性之间存在强线性相关性,为资源优化和数据对齐提供了重要见解。
本研究提出了联邦尾锚(FedTA)方法,旨在解决联邦持续学习中的数据异构性问题,增强特征空间调整能力,提高模型的知识保持能力。实验证明该方法在多种任务中表现优异。
本文提出了一种新型持续学习算法,结合参数分布学习与动态正则化,有效解决知识保持和灾难性遗忘问题。实验结果显示,该算法在多种序列数据集上优于现有方法。
本文介绍了大型语言模型(LLMs)的评估方法和基准测试,包括TemporalWiki基准、动态基准和用户需求导向的评估框架。研究探讨了LLMs在知识保持、时间推理和偏见方面的挑战,并提出了改进评估的建议,以提升其可靠性和实际应用效果。
本文探讨了BERT模型如何获取和利用关系知识,发现中间层对知识的贡献显著。研究表明,预训练模型有助于保持知识,而非预训练模型易于遗忘。通过实验提出了防止知识遗忘的方法,并强调了理解知识获取过程的重要性。此外,增加预训练数据量并未显著提升知识保持能力,提出了新方法以提高语言模型的知识学习效率。
完成下面两步后,将自动完成登录并继续当前操作。