小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
决定RAG成败的7种分块策略

本文介绍了RAG系统中七种分块策略:固定大小分块、句子窗口检索、文档结构分块、语义分块、层级分块、LLM命题分块及多模态表格保留分块。每种策略各有适用场景,如固定分块适合日志,语义分块适合无结构文本。文章强调,生产环境中还需关注索引生命周期管理和分块去重,避免数据膨胀影响性能。

决定RAG成败的7种分块策略

MachineLearningMastery.com MachineLearningMastery.com · 2026-08-05T12:00:38Z
RAG 分块策略:从原理到实战优化,喂饭级教程不允许你踩坑

本文探讨了检索增强生成(RAG)中分块策略的重要性。分块是将大型文档分割成小片段以优化信息检索。主要分块策略包括固定大小、语义、递归和基于文档等,每种策略各有优缺点。选择合适的分块策略需考虑文档类型和任务需求,建议从512个tokens和10-15%的重叠率开始,以提高检索效果和信息组织性。

RAG 分块策略:从原理到实战优化,喂饭级教程不允许你踩坑

京东科技开发者 京东科技开发者 · 2025-11-26T09:05:01Z
RAG 分块策略:从原理到实战优化,喂饭级教程不允许你踩坑

本文探讨了在检索增强生成(RAG)中分块策略的重要性。分块是将大型文档分割成小片段以提高信息检索效率。主要分块策略包括固定大小分块、语义分块、递归分块和基于文档的分块。每种策略各有优缺点,选择合适的方法对提升RAG性能至关重要。建议从512个tokens和10-15%的重叠率开始,结合递归和语义分块进行优化。

RAG 分块策略:从原理到实战优化,喂饭级教程不允许你踩坑

京东科技开发者 京东科技开发者 · 2025-11-21T10:09:06Z
构建更优秀的语言模型应用的关键分块技术

在构建检索增强生成(RAG)应用时,文档分块至关重要,影响信息检索和生成的准确性。常见的分块策略有固定大小、递归、语义和文档基础等。选择合适的分块方法需考虑文档特性和检索需求,以提升系统性能。

构建更优秀的语言模型应用的关键分块技术

MachineLearningMastery.com MachineLearningMastery.com · 2025-11-06T11:00:54Z
记忆和向量-读《图解大模型》

记忆大模型无状态,短期记忆通过对话缓冲区和摘要实现。RAG利用知识库解决知识过时问题,文档向量化和长文本分块策略至关重要。有效分块需提取重点,结合单文档和多向量策略,以优化搜索效果。

记忆和向量-读《图解大模型》

Ying’s Blog Ying’s Blog · 2025-09-27T09:05:26Z
LLM分块:如何在大规模中提高检索效率与准确性

LLM分块技术通过将大数据拆分为小块,提高模型处理效率。有效的分块策略(如固定长度、语义分块和混合方法)能提升准确性和相关性,避免信息混淆。Redis支持高效分块,优化检索速度和上下文保留,适用于对准确性要求高的应用,如对话AI和语义搜索。

LLM分块:如何在大规模中提高检索效率与准确性

Redis Blog Redis Blog · 2025-06-20T00:00:00Z
DeepWIKI 是如何工作的

DeepWIKI 是一个基于 RAG 系统的 AI 文档生成工具,能够利用源代码仓库生成详细文档。其工作流程包括对代码进行语法分析,生成元数据和向量数据。分块策略是关键难点,目前有两种方法:基于文件的分块和语法分析后的分块,后者实现复杂,值得深入研究。

DeepWIKI 是如何工作的

电波障害 电波障害 · 2025-05-24T04:50:40Z
通过智能分块策略提升增强检索生成(RAG)性能

本文讨论了增强检索生成(RAG)如何通过外部知识源提升大型语言模型(LLM)的响应准确性。RAG系统依赖向量数据库,涉及内容分块、向量化和索引等步骤。分块在数据检索中至关重要,优化了存储和处理效率。文章还分析了常见的分块策略及其对检索性能的影响。

通过智能分块策略提升增强检索生成(RAG)性能

DEV Community DEV Community · 2025-04-16T13:26:47Z
分块难以实现:检索增强生成(RAG)应用中的数据分块

文章讨论了在检索增强生成(RAG)系统中数据分块的重要性,指出分块策略对信息检索的准确性有显著影响。过大或过小的分块可能导致信息丢失或不相关。常见的分块方法包括固定大小、随机大小和基于内容的分块。作者建议使用较小的语义单元,以提高与用户查询的相关性,并强调选择最佳分块策略需根据具体用例进行测试和调整。

分块难以实现:检索增强生成(RAG)应用中的数据分块

Stack Overflow Blog Stack Overflow Blog · 2024-06-06T16:00:00Z
演示:语义电影搜索

本文介绍了一个语义电影搜索引擎的构建过程,该引擎能够理解电影的主题和情感。通过固定大小、句子和语义分块三种策略处理电影描述,并利用嵌入模型进行搜索,比较不同策略对搜索质量的影响。最终,用户可以根据主题和情感等条件找到相关电影。

演示:语义电影搜索

Qdrant - Vector Database Qdrant - Vector Database · 1970-01-01T08:00:00Z
项目:构建语义搜索引擎

本文介绍了构建语义搜索引擎的项目,用户需选择主题,创建一个理解意义的搜索引擎。项目包括数据集准备、不同分块策略的测试,以及分析最佳策略。成功标准是搜索引擎能根据意义找到相关结果,并清晰解释分块策略的优劣。

项目:构建语义搜索引擎

Qdrant - Vector Database Qdrant - Vector Database · 1970-01-01T08:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码