💡
原文英文,约600词,阅读约需3分钟。
📝
内容提要
本文介绍了如何使用WebHDFS作为Databend的存储后端,第一步是准备HDFS环境,第二步是部署Databend,第三步是测试功能,最后查看结果。
🎯
关键要点
-
Databend是一个开源的现代云数据仓库,支持多种存储服务的快速数据分析。
-
WebHDFS是一个提供HTTP访问HDFS的REST API,可以避免对Java环境和特定jar包的依赖。
-
第一步是准备HDFS环境,确保WebHDFS已启用并可访问。
-
如果没有HDFS环境,可以通过克隆仓库并使用docker-compose设置本地环境。
-
第二步是部署Databend,需在配置文件中设置endpoint_url和root。
-
可以为WebHDFS配置委托令牌以进行身份验证。
-
第三步是测试功能,上传books.csv文件到HDFS指定路径。
-
创建一个WebHDFS的阶段,并使用COPY INTO命令加载数据。
-
可以运行SQL查询检查数据是否成功加载。
-
访问127.0.0.1:9870可以查看存储结果,确认配置成功。
➡️