小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本文提出了一种新的评估框架,针对检索增强语言模型在用户需求差异方面的不足。实验结果表明,限制记忆使用可以提高模型在逆境中的鲁棒性,但在理想条件下会降低性能,强调了以用户为中心的评估的重要性。

How Do Retrieval-Augmented Language Models Adapt to Diverse User Needs?

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-27T00:00:00Z

本研究提出RAG-RewardBench基准,旨在解决检索增强语言模型与人类偏好对齐不足的问题。通过评估45个奖励模型,揭示了现有模型在偏好一致性方面的局限性,强调了进行偏好对齐训练的必要性。

RAG-RewardBench: Evaluating Reward Models in Retrieval-Augmented Generation for Preference Consistency

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-18T00:00:00Z

本文探讨了基于嵌入的检索模型及其在段落级预训练任务中的重要性。研究表明,检索增强语言模型(RALMs)在问答任务中表现优越,通过改进检索器与模型组件的交互,可以提高性能。提出的可训练综合检索器框架(EoR)有效减少了不一致性,显著提升了开放域问答的效果。

基于数据的检索增强模型的统计框架

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-27T00:00:00Z

该研究探讨了检索增强语言模型(RALMs)的性能提升方法,包括In-Context RALM和增强检索增强机器学习(RRAML)。通过动态上下文编辑和自我推理框架,提升了模型的可靠性和可追溯性,并提出了可训练的综合检索器框架(EoR),有效减少了模型的不一致性和错误。

通过上下文学习增强检索增强语言模型的鲁棒性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-08T00:00:00Z

该研究探讨了检索增强语言模型(RALMs)在特定应用中的性能提升,分析了五个问答基准,并提出了减轻性能下降的方法。通过结合检索信息与大型语言模型,显著提高了生物医学任务的推理能力和准确性,强调了其在多任务中的应用潜力。

改进的检索增强语言模型与自我推理

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-29T00:00:00Z

本研究探讨了检索增强语言模型(RALMs)的性能提升,提出了迭代检索生成方法(Iter-RetGen),在多跳问答和常识推理任务中表现优异。研究发现大型语言模型在科学文档推理中存在证据捏造风险,并构建了WiTQA数据集,分析实体和关系对信息检索的影响,提出了改进模型推理能力的框架。

对大型语言模型的 “隐式” 检索鲁棒性的评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-26T00:00:00Z

本文探讨了提高非参数神经语言模型效率的方法,实验表明在保持性能的同时可提升推理速度6倍。引入的$k$NN-LMs模型结合了预训练神经语言模型与最近邻模型,取得了新的最先进困惑度。此外,研究显示检索增强语言模型在少数样本任务中表现优异,并提出了改进方法以提升模型在新领域的适用性。

最近邻假设解码用于 LLM 生成和归因

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-29T00:00:00Z

该论文研究了多种检索增强语言模型的优缺点,提出了“rethinking with retrieval”(RR)后处理方法,以改善推理性能。通过构建新的通识语料库和检索策略,提出的统一框架(RACo)在多个推理任务中表现优异。此外,研究揭示了大型语言模型在处理冗余信息时的局限性,建议未来训练中应纳入相关数据以提升性能。

RAR-b: 推理作为检索的基准

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-09T00:00:00Z

本文探讨了检索增强语言模型(RALMs)在信息检索中的应用,分析了其在问答基准上的性能提升,并提出了减轻性能下降的方法。研究还探讨了大型语言模型在处理干扰信息时的表现及其对数据分析的潜在影响,强调了其在信息检索中的重要性和未来发展方向。

大型语言模型对无关输入的响应会如何被扭曲?

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-04T00:00:00Z

本研究评估了大型语言模型在科学文档推理中的表现,发现它们常使用虚假证据。检索增强语言模型(RALMs)通过结合外部数据源提高了预测精度和效率。研究还探讨了模型流畅度与属性的关系,并提出了改进方法。新提出的Retrieval-Pretrained Transformer(RPT)在多个任务中表现优于传统模型,显示出检索机制在知识密集型任务中的潜力。

Reliable, Adaptive, and Explainable Retrieval-Augmented Language Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-05T00:00:00Z

该文综述了检索增强语言模型的多项研究:RRAML结合大模型推理与数据库检索以突破上下文限制;R-LLMs、RaLLe、AAR等提升了知识密集任务的表现,但模型在科学文档推理中仍会编造证据,且预训练无法缓解。研究还提出用大模型作检索器、ARM-RAG存储推理链、In-Context RALM添加文档前缀等方法,并发现检索信息通常能提升性能。

ARL2:通过自导自适应相关标签对黑盒大语言模型进行对齐检索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z

本文综述检索增强语言模型研究:在相同证据下比较不同模型的生成答案,分析检索增强对语言模型的影响及证据质量的作用,关注流利度、长度、差异与答案归因,并收集人工标注以评估自动归因。研究揭示检索增强对长篇知识文本生成的影响,分析归因错误主因,并指出未来方向。

检索有益还是有害?对语言模型检索增强效果的深入研究

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z

该文综述检索增强语言模型的进展:RAP结合蒙特卡洛搜索提升推理效率与准确率;RRAML融合数据库检索突破上下文限制;ARM-RAG用推理链记忆改善小学数学解题;Self-RAG通过检索与自我反思提升质量。

基于上下文记忆的检索增强规划的多模态 LLM 智能体

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

本文综述检索增强语言模型研究,涵盖RPT联合预训练、Iter-RetGen迭代检索生成、RR后置处理、结构感知模型、RetroNLU语义解析、AR-Tree句子建模及RAR零样本检索等方法,可提升问答、推理与信息检索性能,降低训练开销。

RAPTOR: 递归抽象处理树形检索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-31T00:00:00Z

检索增强语言模型(RALM)通过结合外部检索信息提升大模型在问答、推理等任务上的性能。研究提出RRAML、In-Context RALM、RA-DIT等框架,并发现模型在科学推理中可能捏造证据。此外,有工作利用分阶段投机解码加速小批量推理,以及基于RAML的元学习方法改善低资源分类。

加速带有猜测的检索增强语言模型服务

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-25T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码