使用“数据准备工具包”处理数据（第二部分）

本文介绍了如何使用数据准备工具包将HTML转换为Markdown，并将其存储到Milvus向量数据库中。

数据准备工具包（Data Prep Kit）是IBM Research开源的工具，适用于LLM或AI代理的数据准备。

工具包支持自然语言和代码的数据处理，基于Python、Ray和Spark等常用框架构建。

需要的本地工具包括Ollama、Podman和Milvus，使用Jupyter Lab进行代码运行。

使用html2parquet转换HTML文件为Markdown格式，并保存到指定目录。

将生成的Markdown文本存储到Milvus向量数据库中，配置包括数据库URI和集合名称。

使用Llama-index库将Markdown文档分块并存储到Milvus中，以便后续查询。

通过配置LLM模型和连接Milvus，用户可以查询存储在数据库中的数据。

数据准备工具包旨在简化数据准备过程，减少手动工作和编码需求，提高数据质量。