小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
搜索增强的大型语言模型中的过度搜索

搜索增强的大型语言模型(LLMs)在知识密集型任务中表现优异,但常出现过度搜索现象,导致计算效率低下和引入不相关信息。研究表明,搜索通常提高可回答查询的准确性,但对不可回答的查询则有害。过度搜索在复杂推理模型中更为明显,且在多轮对话中加剧。为量化过度搜索,提出了“每个正确性代币”(TPC)评估指标,并探讨了减轻过度搜索的方法。

搜索增强的大型语言模型中的过度搜索

Apple Machine Learning Research
Apple Machine Learning Research · 2026-01-12T00:00:00Z

ReAct是Yao等人于2022年提出的一种结合推理与行动的方法,通过思考、行动和观察的循环,提升了大型语言模型在知识密集型任务中的表现,克服了传统方法的局限性。

ReAct Prompting

Teach Talk
Teach Talk · 2025-12-25T04:56:52Z

本研究提出了一种新方法,将大型语言模型与三元知识图谱结合,以提高知识密集型任务的准确性和来源可追溯性。实验结果表明,该方法优化了信息密度,减少了提示长度,并提高了输出的一致性和可靠性。

A Tripartite Perspective on GraphRAG

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z

本研究提出了CoRAG框架,以解决知识密集型任务中的少样本学习问题。实验结果表明,CoRAG在低资源环境下优于传统方法,并揭示了共享通道中段落对模型性能的影响。

CoRAG:协作检索增强生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-02T00:00:00Z

本研究提出了一个框架,旨在提升大型语言模型在知识密集型任务中的表现。通过结合检索增强生成和自适应注意力评分技术,显著提高了检索内容的利用率和相关性,改善了事实准确性和响应质量。该框架在内存瓶颈、领域特定推理能力及效率与可扩展性方面表现优异。

通过KV缓存和解码,采用策略优化的动态检索增强生成来扩展测试时推理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-02T00:00:00Z

本文研究了大型语言模型在闭源仿真软件中的应用,特别是通过检索增强生成方法解决知识密集型任务的信息缺失问题。实验表明,RAG系统能够有效访问闭源软件知识,但仍需解决信息不足的问题,并进行进一步研究。

Experiments with Large Language Models on Retrieval-Augmented Generation for Closed-Source Simulation Software

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-06T00:00:00Z
NeurIPS 2024 | 智能体不够聪明怎么办?清华&蚂蚁团队:让它像学徒一样持续学习

清华大学与蚂蚁集团提出了AMOR框架,旨在构建适应性强的AI智能体。该框架通过模块化推理和过程反馈机制,解决了AI Agent的三大短板,提升了推理能力和学习潜力,具有显著的成本优势,适合知识密集型任务。

NeurIPS 2024 | 智能体不够聪明怎么办?清华&蚂蚁团队:让它像学徒一样持续学习

机器之心
机器之心 · 2024-12-10T10:13:27Z

本研究探讨了推理计算扩展在知识密集型任务中对检索增强生成(RAG)性能的提升。通过上下文学习和迭代提示策略,优化的推理配置显著提高了RAG的性能,展示了计算分配的潜力。

Inference Scaling for Long-Context Retrieval Augmented Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-06T00:00:00Z

本研究提出Open-RAG框架,通过将稠密模型转化为稀疏专家模型,提升开源大型语言模型的推理能力,优化复杂任务和检索过程。实验表明,Open-RAG在知识密集型任务上表现优于现有模型。

Open-RAG: Enhancing Retrieval-Augmented Reasoning Capabilities of Open Source Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

研究了语言模型在处理知识密集型任务时的困难和内部内存冲突对上下文的影响。引入了DYNAMICQA数据集,评估了内部内存冲突的不确定性,并提出了一种新的一致性说服评分来评估上下文对语义输出的影响。实验结果显示,时间性和有争议事实更容易通过额外的上下文进行更新。

从内部冲突到语言模型的情境适应

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-24T00:00:00Z

大型语言模型在生成文本方面表现优异,但在知识密集型任务中的解释能力仍需提升。研究表明,众包工作者更倾向于基于知识的解释,认为其更实用和全面。为提高解释的可信度,提出了审查预测的两阶段流程。此外,基于提示的方法在提取原因方面优于传统方法,更好地与人类理解对齐。

在可读性水平控制下的自由文本论据生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

本文研究了大型语言模型(LLMs)在细调和检索增强生成(RAG)中的应用,发现RAG在知识密集型任务中表现优于细调。使用检索增强后,模型在长上下文任务中的表现更佳,生成速度也更快。同时,研究指出LLMs在复杂问题回答中面临的挑战,强调提高准确性和可靠性的必要性。

从人工针到真实大量数据集:通过在合成数据上进行微调来改进 LLMs 的检索能力

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-27T00:00:00Z

本文探讨了通过精调和检索增强生成(RAG)技术提升大型语言模型(LLM)在问答系统中的表现。研究表明,RAG在知识密集型任务中优于精调,结合微调的嵌入模型可提高准确性。使用长上下文和RAG策略能改善模型在复杂对话中的表现,但仍未达到人类水平。

适用于对话的不同技术方法评估:微调还是 RAG?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-10T00:00:00Z

大型语言模型(LLMs)面临幻觉和知识更新缓慢等挑战。检索增强生成(RAG)通过外部知识库提高LLMs的准确性。论文总结了RAG的三种范式及其组成部分,讨论了评估方法和未来研究方向,强调了RAG在知识密集型任务中的潜力。

RAGAR: RAG 增强的政治事实检验的虚假识别雷达,基于多模态大语言模型的推理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-18T00:00:00Z

本文讨论了事实持续时间预测和新的事实评估方法FactKB,旨在提高模型在知识密集型任务中的校准性。研究提出了ClaimDiff数据集,以比较主张差异。测试结果显示,FactKB在跨领域应用中表现优异,增强了错误实体和关系的检测能力。此外,研究还探讨了大型语言模型的事实性问题及改进策略。

WikiFactDiff:用于因果语言模型中原子事实知识更新的大型、逼真和时态可调整的数据集

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-21T00:00:00Z
RAG 范式、技术和趋势 - JadePeng

同济大学的Haofen Wang报告了检索增强生成(RAG)的范式、技术和趋势。RAG通过从文档中检索信息并结合大型语言模型(LLM)生成答案,适用于知识密集型任务。RAG分为Naive、Advanced和Modular三种范式,后者引入了更灵活的功能模块。RAG与微调(FT)互补,结合使用可提高模型性能。目前有多种开发框架支持RAG应用,其应用已扩展至多模态任务。

RAG 范式、技术和趋势 - JadePeng

博客园 - JadePeng
博客园 - JadePeng · 2024-03-15T10:09:00Z

我们提出了一种新颖的方法,通过选择上下文相关的短语来生成文本,并使用语言学启发式方法初始化训练阐述,并通过迭代的自我增强来加强训练阐述。实验证明,我们的模型在各种知识密集型任务上表现出色,并在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性提高到36.27%,在开放式文本生成中的MAUVE得分提高到81.58%。我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。我们希望我们的工作能够鼓励进一步研究这一新的转变。

检索即生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-27T00:00:00Z

该研究通过多任务训练提出了一种面向知识密集型任务的检索增强式生成模型,实验证明该方法在竞争基线上有显著改进,并在KILT任务中取得了最佳结果。

搜索和检索增强生成的列表感知重排序 - 截断联合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-05T00:00:00Z

大型语言模型(LLMs)在知识密集型任务上表现出色,但在复杂推理和领域特定事实中仍有挑战。KGQuiz是一个基于知识的评估框架,用于分析不同领域和任务格式下LLMs的性能变化,并改进其在广泛知识领域和任务中的能力。

交通游戏:对(多模式)大型语言模型的交通知识进行基准评估

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-09T00:00:00Z

该研究提出了一种面向知识密集型任务的检索增强式生成模型的多任务训练方法,实验结果表明该方法在 KILT 基准测试中取得了显著的改进,并在 KILT 任务的五项中取得了最佳结果。

通过标记消除优化检索增强阅读模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-20T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码