《Hive编程指南》读书笔记
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
本文记录了作者学习Hive SQL的过程，探讨了Hive的底层机制及优化查询效率的方法。Hive通过将SQL查询转换为MapReduce任务，简化了大数据分析。文章分析了Hive执行时间的主要阶段，并提出了多种优化策略，如本地模式、map-side JOIN、并发执行、动态分区和数据倾斜优化，以提高查询性能。
🎯
关键要点
- 作者学习Hive SQL的过程，旨在提升查询效率。
- Hive通过将SQL查询转换为MapReduce任务，简化大数据分析。
- Hive的执行时间主要花费在查询编译、任务调度、数据读写、MapReduce作业执行和网络传输等阶段。
- 优化Hive查询的策略包括本地模式、map-side JOIN、并发执行、动态分区、合并小文件和数据倾斜优化。
- 本地模式适用于小数据集，可以显著缩短执行时间。
- map-side JOIN通过将小表加载到内存中，减少reduce过程，提高查询效率。
- 并发执行可以缩短整个作业的执行时间，适用于多个可并行执行的阶段。
- 动态分区可以减少扫描的数据量，提高查询效率。
- 合并小文件可以减少读取文件时的开销，降低NameNode压力。
- 数据倾斜的优化策略包括自定义分区策略、扩展键值和过滤大键值数据。
- Hive的优化方式与关系型数据库相似，包括使用小表关联大表和建立索引。
- 作者对Hive有了基本的认知，并对SQL有了更深入的理解。
➡️
