标签

 rag 

相关的文章:

本列表页提供关于 RAG 系统的综合评估、构建和应用的指南,包括大语言模型的使用,以及如何进行综合评估和构建 RAG 系统的指南。

BriefGPT - AI 论文速递 -

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

T-RAG: LLM 战壕中的教训

构建一个基于 RAG 的 LLM 应用程序,Tree-RAG 使用树结构表示组织中的实体层级,并生成文字描述以增强响应用户查询的上下文。

本研究提出了一种利用大型语言模型(LLM)应用架构实现生成式人工智能服务的方法,通过实施检索增强生成(RAG)模型来解决信息匮乏的挑战。研究突出了所提出方法的有效性,并展示了其在实践中的适用性。这项工作在推进生成式人工智能领域,提供改进基于数据的内容生成以及促进企业内部利用LLM服务方面具有重要价值。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

C-RAG: 检索扩展语言模型的认证生成风险

本研究提出了 C-RAG 框架,旨在为 RAG 模型证明世代风险。具体地,我们为 RAG 模型提供了符合风险分析,并认证了世代风险的上界置信度称为符合世代风险。我们还对测试分布转移下的一般有界风险函数的符合世代风险提供了理论保证。当检索模型和变换器的质量非平凡时,我们证明了 RAG 模型实现了比单个 LLM 更低的符合世代风险。通过对四个广泛使用的自然语言处理数据集在四个最先进的检索模型上进行的强化实证结果表明了我们符合尾世代风险保证的可靠性和紧密性。

本研究提出了C-RAG框架,用于证明RAG模型的世代风险。通过风险分析和上界置信度,我们证明了符合世代风险。实证结果表明,RAG模型比单个LLM实现了更低的符合世代风险。

相关推荐 去reddit讨论

宝玉的分享 -

RAG 系统开发中的 12 大痛点及解决方案 [译]

如何克服检索增强生成中的关键难题

本文总结了开发检索增强生成(RAG)系统时遇到的七个主要挑战,包括缺失内容、关键文档遗漏、文档整合限制、提取困难、格式错误、缺乏细节和回答不全面。提出了解决策略,如数据清洗、精心设计的提示、优化排序、调整检索策略等。此外,还讨论了五个常见问题及其解决方案,包括数据摄入的可扩展性问题、结构化数据的问答、从复杂PDF文档提取数据、备用模型策略和大语言模型的安全性。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

CRUD-RAG: 大语言模型检索增强生成的综合中文评估基准

Retrieval-Augmented Generation (RAG) 技术通过整合外部知识源提升了大型语言模型 (LLM) 的能力,克服了 LLM 存在的过时信息和生成不准确 “幻象” 内容的问题。本文构建了一个大规模且更全面的基准测试,评估了 RAG 系统的所有组成部分在不同应用场景中的性能,并对 RAG 技术在不同场景下的优化提供了有用的见解。

该论文概述了大型语言模型(LLMs)时代检索增强生成(RAG)的发展范式和组成部分,并介绍了评估方法和未来研究方向。

相关推荐 去reddit讨论

宝玉的分享 -

构建企业级 RAG 系统的高级指南 [译]

我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。网络上虽然不乏关于简易 RAG 系统的文章,但要构建一个坚固的企业级解决方案,过程却充满未知。许多开发者甚至不知道构建 RAG 系统时最关键的决策是什么...这篇博客不只是理论探讨,更是一个实践指南,旨在助您一臂之力!我们将从保障安全的关键措施到查询重写如何影响用户体验,提供实用的洞见和实际案例。无论您是资深开发者还是技术领袖,都请准备好深入探索先进的企业级 RAG 系统的世界!

本文介绍了构建企业级RAG系统的关键要素和挑战,包括决策、案例研究和常见失败因素。文章提供了关于用户认证、输入安全防护、查询优化器、文档摄入系统、生成器和可观测性的建议。强调了用户反馈和多租户系统构建的重要性。

相关推荐 去reddit讨论

亚马逊AWS官方博客 -

基于大语言模型知识问答应用落地实践 – 使用 TruLens 做自动化 RAG 项目评估测试

我们 【基于大语言模型知识问答应用落地实践】 系列博客前 4 篇已经介绍了知识库构建和召回调优方面的实践经验,随着 RAG 项目的逐渐丰富和成熟,越来越多的工作会深入到各种细节的打磨,例如 Prompt 模板调优,更换更新的模型,各类阈值或者参数的调整等。 本篇将介绍如何用 TruLens 框架,一种简单的,系统化的方法来评估 LLM 应用的衡量性能和质量指标,做自动化 RAG 项目评估测试,以及跟踪每次迭代后指标的改善情况。

本文介绍了如何使用TruLens框架对LLM应用进行自动化评估测试,并跟踪每次迭代后的指标改善情况。TruLens通过引入反馈函数来评估LLM应用的质量,包括回答准确性、幻觉、回答相关性和召回相关性。文章还介绍了四种主要的评估方式,并提供了使用方法和应用案例。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

噪声的力量:为 RAG 系统重新定义检索

通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响,本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征,发现包括不相关的文档能出乎意料地提高准确性超过 30%。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合,为未来研究奠定了基础。

相关推荐 去reddit讨论

解道jdon.com -

nlm-ingestor:RAG基于规则的开源PDF解析器

此存储库包含适用于以下文件格式的自定义 RAG(检索增强生成)友好解析器:PDF、超文本标记语言、DOCX、PPTX 以及 Apache Tika 支持的任何其他格式。什么是基于规则的解析器与基于模型的解析器在 4 年的时间里,nlmatics 团队评估了多种选择,包括 Tom Liu 和 Yi Zhang 开发的基于 yolo 的视觉解析器。最终,由于以下原因,我们选择了基于规则的解析器。与任何视觉解析器相比,它的速度要快得多(100 倍),因为您必须从 PDF 的所有页面(即使是具有文本层的页面)创建图像才能使用视觉解析器。我们认为,视觉解析器对于没有文本层的 OCRd PDF 或包含表单

此存储库包含多种文件格式的自定义解析器,包括PDF、HTML、DOCX、PPTX等。基于规则的解析器比基于视觉模型的解析器更快且实用。PDF解析器具有章节和段落提取、表格识别、去除重复页眉页脚等功能。使用Tika进行文档解析,可与llmsherpa LayoutPDFReader结合使用。与Azure文档智能相比,此解析器速度快且成本低。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

UniMS-RAG: 个性化对话系统的统一多源检索增强生成模型

利用统一多源检索增强生成系统 UniMS-RAG,综合三个子任务:知识源选择、知识检索和回复生成,通过训练在序列到序列模型中自适应地检索证据和评估相关性,实现了个性化回复生成,并在两个个性化数据集上展示了其最新的性能。

该论文概述了大型语言模型(LLMs)时代检索增强生成(RAG)的发展范式和组成部分,并讨论了RAG模型的评估方法和未来研究方向。

相关推荐 去reddit讨论

热榜 Top10

...
eolink
...
白鲸技术栈
...
Dify.AI
...
天勤数据
...
观测云
...
LigaAI
...
ShowMeBug

推荐或自荐