DeepWIKI 是如何工作的
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
DeepWIKI 是一款基于 RAG 系统的 AI 文档生成工具，通过对源代码进行语法分析生成元数据和向量数据，从而生成可读文档。其主要挑战在于代码分块策略和语法结构解析，需要深入研究以优化实现。
🎯
关键要点
- DeepWIKI 是一个基于 RAG 系统的 AI 文档生成工具，能够从源代码仓库生成详细文档。
- DeepWIKI 通过语法分析将源代码转换为元数据和向量数据，存储在关系数据库和向量数据库中。
- 生成 WIKI 页面的过程涉及递归读取项目结构和查询元数据与向量数据。
- 代码分块策略是实现中的一个难点，需要考虑代码的语法结构，不能简单地使用自然语言的分词方式。
- 目前有两种分块策略：基于整个文件的分块和基于语法结构的静态分析。
- 解析语法结构相对简单，可以使用 tree-sitter 等工具来生成元数据。
- 在 RAG 查询阶段，需要根据元信息类型组装不同的提示词以生成文档。
- DeepWIKI 的实现过程面临的主要挑战是代码分块策略和语法结构解析，仍需深入研究。
➡️
