小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了无学习范式UniErase,有效解决了大规模语言模型中的知识冲突和过时信息问题,取得了最新的SOTA表现。

UniErase: A Universal Erasure Primitive for Language Models with Zero-Shot Tokens

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本研究提出了DeepKD框架,旨在解决知识蒸馏中目标类与非目标类知识冲突及低置信度噪声问题。通过双重解耦和自适应去噪,显著提升了知识转移效果。

DeepKD: A Deep Decoupling and Denoising Knowledge Distillation Trainer

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本研究探讨了大型语言模型在生成响应时的知识冲突问题,提出了Swin-VIB框架,以增强信息检索的适应性,提升生成响应的准确性,特别是在单项选择任务中提高了至少7.54%的准确率。

Accommodating Knowledge Conflicts in Retrieval-Augmented Large Language Models: Towards Reliable Response Generation in Real-World Scenarios

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-17T00:00:00Z

本文探讨大型语言模型整合外部知识时的知识冲突问题,提出CK-PLUG方法,通过“信心增益”度量实现知识控制,在多种RAG任务中显著提升性能,尤其在对抗场景中表现优异。

Fine-Grained Control of Knowledge Dependency in Language Models: Parameters and Context

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-20T00:00:00Z

本研究提出了一种检索偏好优化(RPO)方法,旨在解决检索增强生成(RAG)中因检索上下文质量引发的知识冲突问题。RPO通过将检索相关性纳入奖励模型,提升生成过程的准确性,实验结果显示其在四个数据集上的准确率比RAG提高了4-10%。

Retrieval Preference Optimization: For Robust Retrieval-Augmented Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-23T00:00:00Z

本研究提出了一种方法,通过在训练阶段明确关联实体与描述,旨在缓解语言模型驱动的问答和摘要生成中的知识冲突,从而减少模型的幻觉现象,改善推理表现。

Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-18T00:00:00Z

本文研究了大型语言模型(LLMs)在事实知识记忆方面的表现,发现检索增强的模型显著提升了性能。分析不同扩展技术后,揭示了模型规模对事实回忆和上下文学习的影响。此外,研究探讨了LLMs在知识冲突时的行为及其对事实知识的理解能力,指出模型在记忆低频事实时存在困难。这些发现为LLMs的进一步开发提供了重要参考。

语言模型中虚构知识的学习与遗忘

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-29T00:00:00Z

本研究探讨大型语言模型(LLMs)在知识冲突情况下的信息依赖问题。通过分析残差流,发现LLMs能够识别知识冲突信号,从而在生成答案前区分上下文知识与参数知识,为知识选择过程提供新方法。

Analyzing the Residual Stream of Language Models Under Knowledge Conflicts

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

大型语言模型(LLMs)在识别知识冲突方面表现良好,但在具体冲突知识的识别和应对上存在困难。研究提出了一种基于指令的方法以增强LLMs的能力,并分析了知识冲突的影响因素。检索增强生成(RAG)方法被强调为提高模型鲁棒性和可靠性的重要手段。此外,研究还提出了“冲突库”基准,以系统性评估知识冲突,推动LLMs的改进和应用。

谁是谁:大型语言模型在实践中的知识冲突

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本文研究了大型语言模型在知识依赖任务中的知识冲突问题,提出了COIECD和CD2等方法以提高模型的泛化性能和鲁棒性。研究表明,检索增强和自适应解码能够有效解决知识冲突,提升模型在开放域问答中的表现。

AdaCAD:自适应解码以平衡上下文知识与参数知识之间的冲突

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-11T00:00:00Z

本文探讨了大型语言模型(LLMs)在处理知识冲突时的表现,并提出新的校准方法以提高模型的可信度和一致性。研究发现,LLMs在面对外部知识时容易产生幻觉,并在知识冲突情况下表现出确认偏差。通过分析不同类型的知识冲突,旨在为改善LLMs的鲁棒性提供策略。

冲突库:评估知识冲突对大语言模型影响的基准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z
深度解析RAG大模型知识冲突,清华西湖大学港中文联合发布

随着人工智能和大型模型技术的发展,检索增强生成文本成为主要范式。研究者提出了预防和应对措施,如持续学习、知识编辑和微调模型。研究还探讨了上下文冲突和内部记忆冲突的起因、表现和解决方案。未来的研究方向包括实际环境中的冲突、精细解决方案、下游任务评估、冲突之间的相互作用、可解释性、多语言性和多模态性。

深度解析RAG大模型知识冲突,清华西湖大学港中文联合发布

机器之心
机器之心 · 2024-07-10T06:34:10Z

本研究探讨了大型语言模型(LLMs)在知识冲突中的挑战,提出了多种方法以提高其鲁棒性和性能。重点分析了上下文、记忆和内部冲突对模型可信度的影响,并引入了新架构NA-ICA以识别关键神经元。同时,研究提出了上下文信息熵约束解码(COIECD)方法,增强模型对冲突背景的处理能力,实验结果显示其在实际数据集上表现优异。

IRCAN: 通过识别和重新赋权上下文感知神经元以减少 LLM 生成中的知识冲突

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-26T00:00:00Z

本文探讨了检索增强生成(RAG)在大型语言模型(LLMs)中的应用,提出了冲突-分离-对比解码(CD2)方法以解决知识冲突。研究表明,正确的检索信息能够修复模型错误,而错误信息则会增强模型的依赖性。文章总结了RAG的三种发展范式及其评估方法,并提出了未来研究方向,以提升LLMs在知识密集型任务中的表现。

研究大型语言模型在现实知识冲突下的行为

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-24T00:00:00Z

大型语言模型(LLMs)在识别知识冲突方面表现良好,但在具体冲突知识的识别和响应上存在困难。研究提出基于指令的方法以增强LLMs的能力,分析显示知识领域和提示文本对冲突解决能力影响显著。通过分类和探索知识冲突,研究旨在提升LLMs的鲁棒性,并提出新的方法和数据集,以改善其在复杂推理任务中的表现。

解开纠纷:在大型语言模型中交织相互冲突的知识和推理技能

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-04T00:00:00Z

本研究提出了一种自适应解码方法,称为上下文信息熵约束解码(COIECD),以解决知识冲突。实验表明,COIECD 在现实数据集中表现出较强的性能和鲁棒性。

通过上下文信息熵约束的自适应解码来辨别和解决知识冲突

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

该文提出了一种基于指令的方法来增强大型语言模型在识别知识冲突方面的能力,解决知识冲突的能力受到知识领域和提示文本等因素的影响,生成对知识冲突场景的稳健响应仍是一个开放性的研究问题。

解决大型语言模型中的知识冲突

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-02T00:00:00Z

本文提出了一种系统性方法,通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆,并进行了一系列受控实验。研究发现,LLMs在遇到知识冲突时,即使与其参数化记忆冲突,也可以高度接受外部证据,但在提供与其参数化记忆一致的信息时,它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。

合并冲突!” 探究外部干扰因素对参数化知识图的影响

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-15T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码