小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
如何在Python中构建面向图像和文档的多模态RAG流水线

本文介绍用Python构建多模态RAG流水线以处理含图表和图片的复杂PDF,流程分四步:用unstructured库将PDF解析为文本块和图片;用GPT-4o为每张图片生成可检索的文字摘要;用MultiVectorRetriever建立向量库与文档库双存储,以ID关联摘要与原始内容;查询时检索文本和图片摘要,将原始图片与文本一并传给GPT-4o生成有据可依的答案。该方案适用于研究报告、财务文档等图文混排文件。

如何在Python中构建面向图像和文档的多模态RAG流水线

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-21T11:00:00Z
RAG 技术资源库:前沿技术、文档全面 | 开源日报 No.549

RAG_Techniques 是一个展示先进检索增强生成技术的资源库,提供全面的文档和实施指南。yaak 是支持多种请求方式和动态值的桌面 API 客户端。aloha 是低成本的开源硬件系统,支持双手远程操作。dreamtalk 生成高质量的虚拟人视频,支持多种输入方式。awesome-reversing 是逆向工程学习资源的集合。

RAG 技术资源库:前沿技术、文档全面 | 开源日报 No.549

开源服务指南 开源服务指南 · 2026-10-20T23:21:53Z
Koog(9) —— 知识增强:Embeddings、RAG 与长期记忆 - SharpCJ

本文介绍 Koog 1.3 的知识增强设施:Embeddings 模块通过 LLMEmbedder 生成向量,但 DeepSeek 客户端不支持嵌入,需搭配 Ollama 或云端服务;rag-base 定义存储抽象,rag-vector 提供文档向量化与检索原型,仅适合本地测试;检索可作为工具供 agent 按需调用,实现 agentic RAG;LongTermMemory 将检索与入库功能化,支持自动或手动模式,需注意分桶、去重与持久化限制;生产环境应基于 rag-base 自研向量库适配器。

Koog(9) —— 知识增强:Embeddings、RAG 与长期记忆 - SharpCJ

SharpCJ SharpCJ · 2026-10-20T12:52:00Z
Uber如何打造Genie以准确回答问题

Uber内部AI助手Genie通过Slack解答工程支持问题,采用RAG而非微调:用Spark ETL管道从Engwiki等来源提取文档,经LangChain分块和OpenAI嵌入模型生成向量,存入内部向量数据库Sia供检索。提问时先检索相关片段,再连同来源URL交给LLM生成带引用的回答以减少幻觉。Genie支持追问、标记解决或转人工,并收集四类反馈存入Hive分析;Uber还用LLM评审评估回答与文档质量。上线一年覆盖154个频道,回答超7万问题,有用率48.9%,节省约1.3万小时。

Uber如何打造Genie以准确回答问题

ByteByteGo Newsletter ByteByteGo Newsletter · 2026-10-19T15:31:03Z
EP229:基于RAG的智能体的8种分块策略

本文介绍RAG智能体的8种分块策略:固定大小、递归、基于文档结构、语义、基于LLM、智能体、延迟分块和分层分块;简述谷歌翻译神经机器翻译流程:语言检测、BPE分词、目标语言标记、编码器、解码器和束搜索;并介绍智能体技能按需加载机制及PostgreSQL进程架构与MySQL线程架构的差异。

EP229:基于RAG的智能体的8种分块策略

ByteByteGo Newsletter ByteByteGo Newsletter · 2026-10-17T15:30:51Z

大语言模型易产生幻觉,检索增强生成(RAG)通过外部知识降低错误。但标准RAG流程线性、仅单次检索,难以应对多步推理、跨文档综合等复杂查询。Agentic RAG将模型变为自主推理引擎,形成“规划—执行—评估—循环”,具备查询路由、查询分解、自我反思与工具调用四种机制。简单查询宜用标准RAG,复杂高精度场景宜用Agentic RAG,也可混合使用。

Agentic RAG 与朴素 RAG:当你的检索系统应当自主思考时

KDnuggets KDnuggets · 2026-10-16T14:00:00Z

OGX 是 Meta Llama Stack 更名后的开源智能体 API 服务器,兼容 OpenAI 接口,支持任意模型与基础设施。文章介绍如何用 OGX 和 Ollama 构建 DocBrain 应用:上传文档实现自动 RAG 检索,并通过自定义工具将文档中的待办事项保存到本地文件。核心优势是本地开发与生产部署可无缝切换,无需重写应用。

使用开源智能体 API 服务器 OGX 构建 AI 应用

KDnuggets KDnuggets · 2026-10-15T14:00:00Z
为你的LLM应用选择分块策略:一种决策树方法

本文介绍RAG系统的分块策略选择,提出六问决策树:文档是否需分块、有无清晰结构、是否需跨段上下文、信息密度是否不均、质量是否优先于成本、语料是否异构。据此匹配固定大小、递归、基于文档、语义、晚期、自适应、层次、LLM及智能体等策略,并识别分块不当的常见症状与修复方法。

为你的LLM应用选择分块策略:一种决策树方法

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-15T11:00:00Z
使用LLM嵌入和Scikit-learn构建RAG流水线

本文介绍用scikit-learn和开源模型搭建轻量级RAG流水线,无需付费API或重型框架。流程为:下载文档数据集并分块,用sentence-transformers生成嵌入,用NearestNeighbors以余弦距离构建检索器,再接入Qwen2.5-0.5B-Instruct生成答案,适合原型验证和低成本部署。

使用LLM嵌入和Scikit-learn构建RAG流水线

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-13T11:00:00Z
为RAG构建语义缓存

本文介绍为RAG流水线构建语义缓存:用Qdrant存储历史问题向量,命中则跳过知识库检索和LLM调用,节省时间与成本。相似度阈值需按用例校准,建议用金标集划分训练、验证、测试集调优。高阈值只能覆盖近似重复问题,可用Jev分类器处理灰色地带。缓存需设置过期时间,并在源文档变更时失效。

为RAG构建语义缓存

Qdrant - Vector Database Qdrant - Vector Database · 2026-10-09T08:00:00Z
Python实现声明级RAG证据覆盖率门禁

文章介绍用Python实现声明级RAG证据门禁:模型输出候选声明及来源ID,再由确定性代码逐条校验来源是否存在、是否过期、是否覆盖声明,并输出ALLOW、REVIEW或BLOCK。强调引用应细到声明级,结合语义蕴含、版本化索引与权限过滤,适用于制度问答等场景。

Python实现声明级RAG证据覆盖率门禁

Java for You Java for You · 2026-10-09T02:32:10Z
评估Graph-RAG与标准RAG:面向事实密集型查询的幻觉基准测试

本文对比标准向量RAG与三层Graph-RAG在事实密集型查询中的幻觉表现。作者用合成篮球数据构建基准:图数据库存真实数据,向量库存含矛盾数字的噪声文本。使用Flan-T5-base模型测试50个查询,标准RAG准确率为96%,Graph-RAG为92%。结论是复杂冲突消解提示需更强模型,小模型反而表现更差。

评估Graph-RAG与标准RAG:面向事实密集型查询的幻觉基准测试

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-08T11:00:00Z
Jevjitsu:或者说,我们如何尝试将广义分类器应用于一切

文章介绍了决策模型Jev在分类任务中的实验,测试了重排序、减少重复结果、查询理解和语义分块。重排序中Jev优于交叉编码器,但迭代法收益有限;结合MMR可兼顾相关性与多样性;查询理解需谨慎过滤,短查询易误判;语义分块在QASPER上IoU提升13%。建议RAG优先用其分块,产品搜索结合MMR,查询理解潜力大但需更多验证。

Jevjitsu:或者说,我们如何尝试将广义分类器应用于一切

Qdrant - Vector Database Qdrant - Vector Database · 2026-10-08T00:00:00Z

谷歌发布开源轻量多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构,7.4 亿参数,Apache 2.0 许可。该模型首次将文本、图像、音频、视频统一映射到同一嵌入空间,支持端侧运行,文本模式最低约 191MB 内存。其采用模块化设计,支持向量维度动态截断,存储最多减少 6 倍,上下文窗口扩至 8K,代码性能显著提升,适用于本地搜索、RAG 与多模态检索。

EmbeddingGemma 2:一个开放、轻量的多模态嵌入模型

Google DeepMind Blog Google DeepMind Blog · 2026-10-06T19:57:04Z

谷歌发布EmbeddingGemma 2,基于Gemma 4架构,7.4亿参数,采用Apache 2.0许可。该模型首次将文本、代码、图像、视频和音频统一到同一嵌入空间,支持端侧多模态检索。文本任务仅需2.7亿参数,输出向量可压缩至128维,存储减少6倍。在Pixel 11 Pro上,纯文本仅占约191MB内存。支持8K上下文,可处理5.5分钟音频或29张图像,适合离线隐私检索与RAG。

EmbeddingGemma 2:一个开放、轻量的多模态嵌入模型

The Keyword The Keyword · 2026-10-06T16:00:00Z
大语言模型的盲区:为何模型会遗忘提示词中间的内容

大语言模型存在“中间迷失”现象:关键信息位于长提示词中部时易被忽略,准确率呈U形曲线,开头和结尾表现更好。原因是注意力机制更偏向早期和临近结尾的信息,扩大上下文窗口也无法根治。可通过优化提示结构、精简无关内容、使用RAG检索缓解,但无法完全避免。

大语言模型的盲区:为何模型会遗忘提示词中间的内容

ByteByteGo Newsletter ByteByteGo Newsletter · 2026-10-05T15:30:51Z
Spring AI 模块化 RAG 与 TypeSafe Jev:检索更多,只保留能回答的内容

该文本仅为 Tanzu Spring 的订阅推广信息,无实质文章内容可总结。

Spring AI 模块化 RAG 与 TypeSafe Jev:检索更多,只保留能回答的内容

Spring Spring · 2026-10-02T00:00:00Z

Docling 是 IBM 开源、现由 LF AI & Data 托管的文档处理工具,可将 PDF、扫描件、PPT 等格式统一转为结构化 DoclingDocument,支持导出 Markdown、JSON、HTML,并具备 OCR、表格结构识别、分块和基于 Pydantic 模式的字段提取能力,便于接入 RAG 与自动化流程。

使用 Docling 将杂乱文档转化为结构化数据

KDnuggets KDnuggets · 2026-10-01T16:00:00Z
当关系本身构成证据时,请使用Graph RAG

向量检索擅长按语义找相似文本,但无法证明事实关联。当答案依赖多跳关系(如漏洞库→服务→客户→合同→通知政策)时,应引入Graph RAG:将业务记录建模为节点和有向边,显式记录USES、SUPPORTS、GOVERNED_BY等关系。图回答“什么相连”,原文回答“政策怎么说”,二者缺一不可。遍历需限制边类型、跳数、租户边界与时效,缺失边应如实报告而非推断。

当关系本身构成证据时,请使用Graph RAG

The New Stack The New Stack · 2026-10-01T13:30:00Z
为Graph-RAG添加时间推理:追踪事实的新鲜度与陈旧度

文章介绍为Graph-RAG加入轻量级时间推理层:将传统主谓宾三元组扩展为带时间戳的四元组并存入时间图,用指数衰减计算事实新鲜度权重,按查询日期对冲突事实排序。示例追踪公司CEO变动,展示不同查询日期下答案权重变化,并建议调整半衰期参数。最后提出将时间图接入三层Graph-RAG检索流程,只把最高权重事实传入提示,减少模型猜测。

为Graph-RAG添加时间推理:追踪事实的新鲜度与陈旧度

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-01T12:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码