小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究探讨了指导模型在指令调整中可能导致的知识遗忘和对话过度问题。通过部分适应方法,降低指令调整强度可以提高几-shot学习性能,但会略微降低指令跟随能力,揭示了上下文学习与指令跟随能力之间的权衡。

Improving Instruction Models for Free: A Study on Partial Adaptation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-15T00:00:00Z

本研究提出了一种新的基于提示的持续图学习框架(PROMPTCGL),旨在解决持续图学习中的知识遗忘问题。该框架通过分层提示和个性化提示生成器,能够高效处理图形数据,提高性能并降低内存消耗。

Prompt-Driven Continual Graph Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-10T00:00:00Z

本研究提出SPARC框架,旨在解决大型语言模型在持续学习中的适应性不足和知识遗忘问题。通过主成分分析优化训练数据,提高训练效率并保持预训练知识,实验证明其在资源利用和准确性方面取得了良好平衡。

SPARC: Robust Continual Learning for Subspace-Aware Prompt Adaptation in Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-05T00:00:00Z
通过蒸馏实现记忆保留微调

本文介绍了一种名为标签退火的方法,用于在微调大型语言模型时减少知识遗忘。该方法通过在损失函数中添加KL散度项,帮助模型在微调过程中保留预训练知识,提升数学和编码领域的表现,同时保持其他能力。标签退火在对齐微调中实现了指令遵循能力与预训练知识之间的平衡。

通过蒸馏实现记忆保留微调

Apple Machine Learning Research
Apple Machine Learning Research · 2024-11-21T00:00:00Z
压缩后的大型语言模型会遗忘知识吗?一项具有实际意义的实验研究

本文探讨了压缩大型语言模型(LLMs)对知识的影响,提出了“知识遗忘”和“知识位移”假设。实验表明,动态提示(IDP)能有效恢复压缩后的性能,且比传统重训练方法更高效,节省参数和减少延迟。

压缩后的大型语言模型会遗忘知识吗?一项具有实际意义的实验研究

Apple Machine Learning Research
Apple Machine Learning Research · 2024-11-19T00:00:00Z

本研究提出VersaTune框架,解决大语言模型微调中的知识遗忘问题。通过动态调整领域权重,VersaTune在多领域任务上提升了35.21%,同时减少了其他领域性能下降的幅度,降低了38.77%。

VersaTune: Efficient Fine-Tuning of Multi-Capability Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-18T00:00:00Z

该研究提出了CLIF学习框架,旨在提高NLP任务中的模型泛化能力,并保留早期任务表现。研究了连续知识学习,构建了新数据集和指标,强调对抗知识遗忘和参数扩展的重要性。通过增量预训练和主动遗忘机制,模型在新语言适应中表现更佳,并探讨了大型语言模型的持续学习策略及其适应性,提出了新的评估基准和未来研究方向。

梯度定位改善语言模型的终身预训练

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-07T00:00:00Z

本研究提出了一种新的无监督“睡眠”阶段策略,以提高人工神经网络在有限且不平衡训练数据下的学习效率。实验结果表明,该策略显著提升了模型的准确性,并减缓了对已学知识的遗忘。

Unsupervised Replay Strategies for Continual Learning under Limited Data Conditions

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本文探讨了BERT模型如何获取和利用关系知识,发现中间层对知识的贡献显著。研究表明,预训练模型有助于保持知识,而非预训练模型易于遗忘。通过实验提出了防止知识遗忘的方法,并强调了理解知识获取过程的重要性。此外,增加预训练数据量并未显著提升知识保持能力,提出了新方法以提高语言模型的知识学习效率。

语言模型预训练过程中的知识熵衰减阻碍新知识获得

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

本文综述了少样本增量学习(FSCIL)的最新进展,提出了TOPIC框架、CEC框架和KT-RCNet等新方法,旨在解决知识遗忘和模型偏差问题。这些方法在多个基准数据集上表现优异,推动了FSCIL在计算机视觉和自然语言处理领域的应用。

Knowledge Adaptation Network for Few-Shot Class Incremental Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-18T00:00:00Z

大型语言模型(LLMs)在数据科学和医疗领域表现出色,能够自动检测异常、分析原因并提出修复建议。研究提出了KGQuiz评估框架,评估LLMs在知识任务中的表现,结果显示其在简单任务中表现良好,但在复杂推理方面仍面临挑战。此外,知识遗忘问题的解决方案被分类为参数优化、合并和上下文学习,并探讨了未来的研究方向。

通过无标签课程化有意义学习诊断和纠正大型语言模型中的知识缺失

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-21T00:00:00Z

该研究探讨了大型语言模型在隐私保护中的脆弱性,发现消除训练集中的重复数据可以提高隐私安全性。提出了知识遗忘和差分隐私等方法,以降低隐私风险,并评估了不同防御策略的有效性。研究强调了隐私后门攻击的风险,呼吁重新审视开源模型的安全协议,以构建更安全的人工智能系统。

黑箱内部:检测预训练语言编码器中的数据泄露

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-20T00:00:00Z

本文介绍了多种知识图谱嵌入方法,如双重教导方法DualDE、联邦知识图嵌入框架FedE和隐私保护学习框架FKGE。这些方法通过优化推理效率、保护数据隐私和提高模型表达能力,显著提升了性能。实验结果显示,这些新框架在链接预测和知识遗忘方面表现优异,推动了知识图谱技术的发展。

通过知识蒸馏实现低维联邦知识图谱嵌入

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-11T00:00:00Z

本研究探讨了知识遗忘在预训练语言模型中的应用,提出通过梯度上升方法有效删除敏感信息,以确保隐私和道德标准。研究发现,顺序遗忘优于一次性遗忘,机器遗忘技术在保持模型效率的同时,有效应对隐私和法律挑战。

遗忘还是不遗忘?针对大型语言模型的实用知识消除

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-02T00:00:00Z

该研究评估了大型语言模型(LLMs)在获取事实信息时的表现,发现GPT-3.5存在明显的性别差异,而GPT-4有所改善。研究指出LLMs在特定领域面临知识遗忘和幻觉等挑战,建议多样化训练数据并提高透明度。同时,研究探讨了LLMs在事实核查中的有效性,强调改进模型准确性的重要性。

LLM 有针对性的低效率问题主要影响弱势用户

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-25T00:00:00Z

本研究提出知识遗忘作为减少预训练语言模型隐私风险的方法,强调顺序遗忘优于一次性遗忘。通过新方法和实验,验证了在不重新训练模型的情况下有效更新大型语言模型以保护用户隐私。机器遗忘技术旨在选择性删除敏感数据,保持模型效用,推动负责任的人工智能发展。

通过对语言模型中的序列遗忘进行近似优化参数保护隐私

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

近年来,大型语言模型(LLM)在自然语言处理领域取得了显著进展,但也面临保留错误知识的风险。为了解决这一问题,研究者提出了知识遗忘的概念,主要包括参数优化、参数合并和上下文学习三种方法。研究强调了有效评估遗忘的重要性,并探讨了其在隐私保护和减少社会技术危害方面的应用。实验结果显示,现有方法在实践中仍需改进,以实现更高效的知识遗忘。

使用参数化知识痕迹对去学习进行内在评估

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

大语言模型(LLMs)在面临领域特定问题时可能会遇到知识遗忘、重复、幻觉和毒性等问题。为了解决这些问题,建议多样化训练数据,微调模型,提高透明度和可解释性,并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。未来的LLMs应确保在为人类服务时优先考虑公平、透明和伦理,持有高的道义和道德标准。

训练语言模型以模仿学生误解的回归副作用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-23T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码