标签

 rag 

相关的文章:

探索RAG技术在企业级客户服务和代理商生产力中的应用,了解如何利用云服务和自有知识库实现RAG技术的实施。

Semantic Kernel:用Embedding做客服(RAG)

原文英文,约300词,阅读约需1分钟。发表于:

RAG(Retrieval-Augmented Generation)是一种结合信息检索和生成模型的自然语言处理方法。它通过检索相关文档片段作为生成模型的上下文,提高生成文本的准确性和相关性。RAG广泛应用于问答系统、对话系统和文本摘要等领域,兼具高效性和灵活性。公司的客户机器人都特别适合。下面的案例是使用GPT的embedding来向量化相关信息,然后通过关键字检索,最后把这些信息,结合用户问题...

RAG是一种结合信息检索和生成模型的自然语言处理方法,通过检索相关文档片段作为生成模型的上下文,提高生成文本的准确性和相关性。RAG广泛应用于问答系统、对话系统和文本摘要等领域,兼具高效性和灵活性。

相关推荐 去reddit讨论

Shire RAG 工作流:在 IDE 中编排 RAG,构建可信的编码智能体

原文约4700字,阅读约需11分钟。发表于:

构建编码智能体并非一件容易的事。结合我们在 AutoDev、ArchGuard Co-mate、ChocoBuilder 等智能体项目的经验,我们开始思考在 Shire

构建编码智能体的新RAG工作流,使用Shire语言和自定义的RAG流程智能体编排。通过IDE接口获取代码数据,进行向量化、检索和代码搜索。结合代码校验和执行功能,构建完整、可信的编码智能体。基于Shire的Pattern Action和代码可信校验,实现自动化编程。使用Index和Query实现代码检索与查询。通过Shire自定义代码检索和LLM总结,实现代码示例解释。Shire RAG工作流的实现使用ONNX Runtime、Sentence Transformers和Jaccard相似度算法。支持多种文档类型和IDE语言代码文件。下一步计划提供更多能力,如更多存储方式、结果重排和更多检索方式。

相关推荐 去reddit讨论

自己写一个RAG应用

原文约5500字,阅读约需14分钟。发表于:

Dive into the core principles and hands-on implementation of RAG, an AI framework that integrates external knowledge to enhance large language models. Learn how RAG works, its importance in...

RAG是一个AI框架,用于从外部知识库中检索事实,使语言模型基于准确信息生成。它结合检索到的知识和问题,做出合理解答。文章介绍了RAG的工作流程、构建知识库的方法和使用BM25算法提高搜索准确度。

相关推荐 去reddit讨论

PingCAP 王琦智:下一代 RAG,tidb.ai 使用知识图谱增强 RAG 能力

原文约5700字,阅读约需14分钟。发表于:

本文整理自 TiDB 生态系统架构师及高级开发者 Advocate 王琦智在墨天轮数据库沙龙的分享:《下一代RAG,tidb.ai 使用知识图谱增强 RAG 能力》,以下为演讲实录。

本文介绍了如何使用知识图谱增强RAG模型的能力,提高特定领域查询的准确性和回答质量。文章还分享了tidb.ai,一个了解TiDB知识的AI问答机器人,并提供了简单RAG的实现方案。最后,文章强调了Rerank的重要性和知识图谱对RAG模型的助力。

相关推荐 去reddit讨论

RAG-QA 领域鲁棒性评估:长文检索增强问答

原文约400字,阅读约需1分钟。发表于:

基于检索增强生成的问答(RAG-QA)是自然语言处理中的一个重要研究课题,具有广泛的实际应用。本研究通过创建一个新的数据集 LFRQA,包含了人工编写的长篇答案,将多个文档的摘要性答案合并成一个连贯的叙述,跨领域覆盖了 26K 个查询和七个不同领域的大型语料库,从而解决了现有数据集的局限性。通过使用大型语言模型作为评估器,通过 RAG-QA Arena 来直接比较模型生成的答案和...

本研究创建了新的数据集LFRQA,解决了现有数据集的局限性。通过使用大型语言模型作为评估器,通过RAG-QA Arena比较模型生成的答案和LFRQA答案,结果表明RAG-QA Arena与人工判断的答案质量高度相关。

相关推荐 去reddit讨论

ChatQA 2:在长篇文本和 RAG 能力中弥合专有 LLMs 的差距

原文约300字,阅读约需1分钟。发表于:

在这项研究中,我们介绍了 ChatQA 2,这是一个基于 Llama3 的模型,旨在弥合开放访问的 LLMs 和领先的专有模型(例如 GPT-4-Turbo)在长上下文理解和检索增强生成(RAG)能力方面的差距。

研究人员使用开源的大型语言模型(LLMs)来保护数据隐私,解决可扩展且智能的问答挑战。在一个入门计算机科学课程的Piazza数据集上进行实验,通过多种建模技术,答案质量提高了33%,其中RAG是一个有影响力的改进。这项工作为开发适用于在线问答平台的智能QA助手ChaTA奠定了基础。

相关推荐 去reddit讨论

TaD+RAG-缓解大模型“幻觉”的组合新疗法

原文约7100字,阅读约需17分钟。发表于:

近来,以ChatGPT为代表的生成式大语言模型(Large Language...

京东和清华大学联合提出了任务感知解码技术(TaD)和检索增强生成技术(RAG)来解决大语言模型(LLM)的幻觉问题。TaD技术通过对比有监督微调前后的输出来缓解LLM的幻觉,具有广泛的适用场景。RAG技术通过引入第三方知识库来增强LLM的生成过程,降低幻觉。TaD和RAG技术在多个任务和数据集上都取得了显著的效果提升。京东已将TaD技术应用于知识问答系统,提供准确、高效的知识性问答服务。未来,需要在系统、知识和LLM层面进行更深入的探索,以进一步缓解LLM的幻觉问题。

相关推荐 去reddit讨论

利用相关信息增益的改进 RAG 算法

原文约300字,阅读约需1分钟。发表于:

大型语言模型(LLM)的记忆扩展常常通过检索增强的生成(RAG)实现,该方法将来自更大记忆的文本插入 LLM 的上下文窗口。我们提出了一种基于相关信息增益的新型简单优化指标,通过优化这个指标,多样性自然地从我们的系统中出现。当用作 RAG 系统的检索组件的替代品时,这种方法在检索增强生成基准(RGB)的问答任务中展现出了最先进的性能,超过了直接优化相关性和多样性的现有指标。

Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法,旨在通过动态整合最新的外部信息解决大型语言模型(LLMs)的静态限制,并改进LLMs输出的准确性和可靠性。该研究将RAG分为四个类别,并提供了详细的视角和评估方法,同时介绍了其演进和领域的进展。该论文还提出了面临的挑战和未来的研究方向,旨在巩固现有的RAG研究,明确其技术基础,并突出其扩展LLMs的适应性和应用潜力。

相关推荐 去reddit讨论

提升检索和管理检索:用于 RAG 系统质量和效率的四模块协同

原文约400字,阅读约需1分钟。发表于:

通过生成多个查询来克服单一查询的信息平台以及通过重写问题来消除二义性,我们提出了 Query Rewriter + 来增强 Query Rewriter 模块,同时通过引入 Knowledge Filter 模块解决 RAG 系统中存在的无关知识问题,并且引入 Memory Knowledge Reservoir 和 Retriever Trigger 模块解决冗余检索问题,这四个 RAG...

该论文概述了大型语言模型(LLMs)时代检索增强生成(RAG)的发展范式和组成部分,并介绍了RAG模型的评估方法和未来研究方向。

相关推荐 去reddit讨论

基于上下文嵌入的 RAG 高效答案生成

原文约400字,阅读约需1分钟。发表于:

使用 CO-COM 方法,可以对长文本进行压缩以提高生成时间,在保持更高性能的同时,显著减少解码时间。

提供外部知识给大规模语言模型是关键,为了融入实时内容、提供特定领域知识以及预防生成虚构内容。提出了一种名为CRAG的新方法,能够减少提示词数量,而不会降低生成的响应质量。实验证明,CRAG方法可以至少减少46%的词数量,甚至能达到90%以上。与RAG相比,CRAG的词数在评论数增加时不会显著增加。

相关推荐 去reddit讨论