Hive

📝

内容提要

本文介绍了Apache Hive的基本查询、RLIKE语句、UNION语句、SAMPLE快速采样、虚拟列、常用内置函数、数据清洗转换、数据统计、导入导出数据和权限管理等内容。

🔎

延伸解读

Hive 的适用场景与限制

Hive 适合海量数据的离线批处理，提供类 SQL 接口，便于熟悉 SQL 的分析人员使用。它支持自定义函数和多种存储格式，元数据可与其他工具共享。但 Hive 执行延迟高，不适合实时处理，且不支持行级更新，因此不适用于需要频繁修改单行数据的场景。

内部表与外部表的选择

内部表由 Hive 管理数据和元数据，删除表时会同时删除 HDFS 上的数据，适合临时或中间结果。外部表仅管理元数据，删除表不会删除数据，适合需要长期保存或与其他工具共享的数据。建表时可通过 EXTERNAL 关键字指定，也可用 ALTER TABLE 转换。

分区与分桶的优化作用

分区将数据按维度（如时间）划分为不同文件夹，减少查询时扫描的数据量。分桶将数据按列哈希到固定数量的文件中，可提升 JOIN、过滤和分组操作的效率，并支持高效采样。分桶表加载数据需用 INSERT SELECT，因为 LOAD DATA 不触发 MapReduce 无法进行哈希分桶。

安装配置中的常见问题

安装 Hive 需配置 MySQL 作为元数据存储，并确保 Hadoop 代理用户设置正确。常见错误包括 HADOOP_HOME 路径错误、MySQL 只允许本地连接、JDBC 驱动版本不匹配等。初始化元数据库时，若连接失败，可检查 MySQL 绑定地址和驱动版本，并确保使用与 MySQL 版本匹配的驱动。

❓

Q&A

Apache Hive 是什么？

Apache Hive 是一个开源数据仓库工具，旨在通过类SQL语言在Hadoop上执行大规模数据查询和分析。

Hive 的查询语言是什么？

Hive 提供了类SQL语言 HQL，适合不熟悉 Java 的数据分析人员使用。

Hive 支持哪些数据表类型？

Hive 支持内部表和外部表，内部表删除时会删除数据，外部表则只删除元数据。

如何在 Hive 中创建分区表？

创建分区表时使用 PARTITIONED BY 关键字，指定分区列，如：CREATE TABLE table_name (col1 TYPE) PARTITIONED BY (partition_col TYPE);

Hive 的数据导入导出功能如何使用？

Hive 允许将数据从本地或HDFS加载到Hive表中，或将Hive表的数据导出到指定路径，使用 LOAD DATA 和 INSERT OVERWRITE DIRECTORY 语句。

Hive 的权限管理功能是怎样的？

Hive 的权限管理功能允许对用户和角色授予或撤销对表和数据库的访问权限。

🏷️

标签

Apache Hive RLIKE语句 UNION语句 hive 数据清洗转换 查询