小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

阿里通义实验室推出MaskSearch框架,提升大模型推理与搜索能力。小模型表现接近大模型,兼容监督微调和强化学习,显著提升开放域问答性能。通过检索增强型掩码预测任务,模型有效学习信息处理与搜索引擎使用,适应多领域任务。

阿里通义开源「推理+搜索」预训练新框架:小模型媲美大模型,多个开放域问答数据集表现显著提升

量子位
量子位 · 2025-05-31T04:07:36Z

本研究提出了RoleRAG统一框架,解决了检索增强生成(RAG)方法在多任务处理中的整合问题。通过角色特定令牌优化,该框架实现了高效的多任务处理,降低了资源消耗,并在开放域问答数据集上取得了良好效果。

Single Large Language Model, Multiple Roles: A Unified Retrieval-Augmented Generation Framework Based on Role-Specific Token Optimization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本文介绍了一种段落排名器方法,提升开放域问答系统的性能,平均提高7.8%。研究提出了REAR方法,通过引入排名头和优化训练,显著提高检索效果,改善了大型语言模型的响应质量,解决了信息陈旧等问题。

通过排名模型提升问答文本检索:重标定、微调与重排器的部署

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-12T00:00:00Z

本文研究了大型语言模型在知识依赖任务中的知识冲突问题,提出了COIECD和CD2等方法以提高模型的泛化性能和鲁棒性。研究表明,检索增强和自适应解码能够有效解决知识冲突,提升模型在开放域问答中的表现。

AdaCAD:自适应解码以平衡上下文知识与参数知识之间的冲突

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-11T00:00:00Z

本文介绍了一种利用潜在知识检索器扩充语言模型预训练的方法,应用于开放域问答任务,取得良好效果。研究提出了M3-Embedding嵌入模型,支持多语言检索,具备多功能性和高效性,并通过专家路由器系统优化查询路由,提升查询效率和降低成本。

RouterRetriever:探索多专家嵌入模型的路由优势

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z

本文探讨了基于嵌入的检索模型及其在段落级预训练任务中的重要性。研究表明,检索增强语言模型(RALMs)在问答任务中表现优越,通过改进检索器与模型组件的交互,可以提高性能。提出的可训练综合检索器框架(EoR)有效减少了不一致性,显著提升了开放域问答的效果。

基于数据的检索增强模型的统计框架

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-27T00:00:00Z

本研究提出了一种新颖的句子选择方法(FastFiD),用于解决开放域问答中推理效率低的问题。实验证明,该方法在保持模型性能的情况下,推理速度提升了2.3至5.7倍。

FastFiD:通过句子选择提高开放域问答的推理效率

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-12T00:00:00Z

本文提出了一种名为Generator-Retriever-Generator (GRG)的新方法,结合文档检索技术与大型语言模型,旨在解决开放域问答中的挑战。GRG在多个数据集上表现优于现有方法,提升了答案的相关性和信息丰富性。同时,探讨了生成检索的关键发展及未来研究方向,并提出了新的学习框架FGD和无监督学习方法Grappa,以提高检索性能。

MixGR: 通过互补粒度增强科学领域的检索器泛化能力

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-15T00:00:00Z

本文探讨了大型语言模型(LLMs)在上下文学习中的新算法,包括RICL、LARICL和HICL。这些方法通过优化输入提示和示例选择,提升了模型在信息提取和开放域问答中的性能。同时,研究分析了模型的鲁棒性及预训练语料库对变异性的影响,强调了语义相似演示的重要性。

Extracting Contextual Principles from Previous Errors

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-08T00:00:00Z

本文综述了生成式信息检索(GenIR)的最新研究进展,包括生成式文档检索、可靠响应生成及其评估。提出了LTRGR框架和DGR框架,以提升生成式检索性能。研究还探讨了生成式检索的范式变革及其与判别式模型的比较,并提出了GRG方法,结合文档检索与大型语言模型,解决开放域问答挑战,表现优于现有方法。

生成式信息检索综述

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-03T00:00:00Z

本文提出了一种改进的开放域问答框架,采用KL散度正则化、后处理和课程学习策略,以提升问答性能。研究还探讨了知识辅助方法、领域转移评估及基于置信度的校准方法,显示在多个数据集上有显著效果改善。

缓解上下文记忆以提高开放领域问答的泛化能力

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-02T00:00:00Z

本文介绍了一种新的对话框架MindDial,旨在提高对话系统在共同基础上的理解能力。研究提出了多种方法和模型,通过分析对话数据集,提升开放域问答的表现,并探讨在动态环境中创建和维护共同基础的挑战。

多模态对话中的共同语境跟踪

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-26T00:00:00Z

本文介绍了多种开放域问答(ODQA)模型的改进方法,包括RFiD、FILCO和KG-FiD。RFiD通过区分因果关系和虚假特征提升答案生成质量,FILCO利用信息论优化上下文,KG-FiD通过知识图谱过滤噪声段落。研究表明,结合上下文知识显著提升问答性能,并在多个任务上取得最佳结果。

训练融合解码器中的上下文质量对于开放领域问答的重要性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-21T00:00:00Z

本文提出了一种基于大型语言模型的自我点拨框架,可以在不需要训练数据和外部知识库的情况下实现开放域下的问答任务。实验结果表明,该方法在三个广泛使用的ODQA数据集上优于之前的最先进方法,平均提高了8.8个百分点,并且能够与多种检索增强的微调模型相比较的性能。

优化零样本阅读器:减少开放领域问答中与问题不相关文档的干扰

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

本文提出了一种基于大型语言模型的自我点拨框架,可以在不需要训练数据和外部知识库的情况下实现开放域下的问答任务。实验结果表明,该方法在三个广泛使用的 ODQA 数据集上优于之前的最先进方法,能够实现与多种检索增强的微调模型相比较的性能。

FreshLLMs: 利用搜索引擎增强大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-05T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码