使用SiliconCloud尝试GraphRag——以《三国演义》为例(手把手教程,适合小白)...

💡 原文中文,约18700字,阅读约需45分钟。
📝

内容提要

本文介绍了使用OpenAI模型体验GraphRag的方法,GraphRag是一种基于AI的内容理解和搜索能力,可以解析数据创建知识图谱并回答用户问题。文章详细介绍了GraphRag的配置和使用步骤,并提供了示例。同时,还介绍了使用SiliconCloud替代OpenAI的方法。最后,作者总结了GraphRag的使用注意事项和参考资料。

🔎

延伸解读

GraphRag 的 Token 消耗与成本控制

文章指出 GraphRag 的 Token 消耗量很大,对于一个两千多字的文本,一次索引和查询可能耗费十多万 Token。作者建议初次体验时使用字数较少的文本,并选用 gpt-4o-mini 等成本较低的模型。以《边城》为例,索引和查询总花费约 0.18 美元,说明在控制文本规模和模型选择的前提下,成本可以接受。

国内替代方案:SiliconCloud 的配置要点

对于无法使用 OpenAI 的国内用户,SiliconCloud 提供了兼容 OpenAI 格式的对话与嵌入模型。配置时需要将 API Key 替换为 SiliconCloud 的 Key,并修改模型名称,如对话模型可选用 meta-llama/Meta-Llama-3.1-70B-Instruct,嵌入模型可选用 BAAI/bge-large-en-v1.5。注意,使用 BAAI/bge-large-zh-v1.5 时作者遇到了错误,原因未知。

混合使用不同厂商 API 的灵活性

当某些厂商只提供对话模型或嵌入模型不兼容 OpenAI 格式时,可以混合使用两个 API Key:一个用于对话模型,另一个用于嵌入模型。例如,对话模型使用智谱的 glm-4-air,嵌入模型使用 SiliconCloud 的 BAAI/bge-large-en-v1.5。这种方案提高了模型选择的灵活性,但需要确保两个服务都兼容 OpenAI 接口。

本地模型运行的硬件限制

文章提到可以使用 Ollama 的对话模型和 LM Studio 的嵌入模型在本地运行 GraphRag,但作者因电脑配置不足,无法实测较大模型。对于硬件资源有限的用户,建议先从小规模文本和较小模型开始尝试,或考虑使用云端 API 替代。

❓

Q&A

GraphRag是什么?

GraphRag是一种基于AI的内容理解和搜索能力,能够解析数据创建知识图谱并回答用户问题。

如何使用OpenAI模型体验GraphRag?

使用OpenAI模型体验GraphRag的步骤包括创建Python虚拟环境、安装GraphRag、配置OpenAI Api Key,并进行相关设置。

SiliconCloud可以替代OpenAI吗?

是的,SiliconCloud可以作为OpenAI的替代方案,适合国内用户使用,并提供兼容OpenAI格式的对话模型与嵌入模型。

使用GraphRag时需要注意什么?

使用GraphRag时需注意Token消耗量很大,建议初次体验时使用字数较少的文本和gpt-4o-mini模型以节约成本。

如何进行全局和局部查询?

全局查询使用命令 'python -m graphrag.query --method global',局部查询使用命令 'python -m graphrag.query --method local',后接具体问题。

如何配置SiliconCloud的Api Key?

在使用SiliconCloud时,需要在配置文件中将Api Key更改为SiliconCloud的Api Key,并调整模型设置。

🏷️

标签

➡️

继续阅读