小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究提出SECURA,一种针对大语言模型的有效微调方法,旨在解决高计算需求和灾难性遗忘问题。通过引入SigNorm归一化技术,SECURA显著提升了微调性能,并在持续学习测试中展现出优越的知识保持能力。

SECURA: Sigmoid-Enhanced CUR Decomposition for Large Language Models with Uninterrupted Retention and Low-Rank Adaptation

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-25T00:00:00Z

本研究提出了SMI指标,解决了封闭书籍问答任务中大型语言模型表现的预测问题,强调了数据构建和知识保持的挑战。实验证明SMI与模型准确性之间存在强线性相关性,为资源优化和数据对齐提供了重要见解。

Predicting the Performance of Large Language Models on Closed Book Question Answering Tasks Using Pre-training Available Information

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-06T00:00:00Z

本研究提出了联邦尾锚(FedTA)方法,旨在解决联邦持续学习中的数据异构性问题,增强特征空间调整能力,提高模型的知识保持能力。实验证明该方法在多种任务中表现优异。

Addressing Spatiotemporal Data Heterogeneity in Federated Continual Learning through Tail Anchors

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-24T00:00:00Z

本文提出了一种新型持续学习算法,结合参数分布学习与动态正则化,有效解决知识保持和灾难性遗忘问题。实验结果显示,该算法在多种序列数据集上优于现有方法。

Bayesian Neural Networks for Efficient Continual Learning through Correlation-Based Parameter Updates and Improved Regularization

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-21T00:00:00Z

本文介绍了大型语言模型(LLMs)的评估方法和基准测试,包括TemporalWiki基准、动态基准和用户需求导向的评估框架。研究探讨了LLMs在知识保持、时间推理和偏见方面的挑战,并提出了改进评估的建议,以提升其可靠性和实际应用效果。

NewTerm:针对大型语言模型的新术语实时基准测试(年度更新)

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

本文探讨了BERT模型如何获取和利用关系知识,发现中间层对知识的贡献显著。研究表明,预训练模型有助于保持知识,而非预训练模型易于遗忘。通过实验提出了防止知识遗忘的方法,并强调了理解知识获取过程的重要性。此外,增加预训练数据量并未显著提升知识保持能力,提出了新方法以提高语言模型的知识学习效率。

语言模型预训练过程中的知识熵衰减阻碍新知识获得

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码