小令童鞋
·
【Hadoop】Hudi 基础知识详解
💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
Apache Hudi是一个针对分析型业务的数据存储抽象，提供表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发等功能。它支持快速Upsert以及可插拔的索引，原子方式操作，写入和插件操作之间的快照隔离，行和列的异步压缩，具有时间线来追踪元数据血统，通过聚类优化数据集等特性。
🎯
关键要点
- Apache Hudi是一个针对分析型业务的数据存储抽象，支持表、事务、高效upserts/删除等功能。
- Hudi支持快速Upsert、原子操作、快照隔离、异步压缩和元数据血统追踪等特性。
- Hudi可以通过Flink、Spark、Hive等工具将数据写入数据库存储，支持多种数据湖存储。
- Hudi能够将Change Logs通过upsert方式合并，并保管修改历史，实现时间旅行和回退。
- Hudi维护操作的时间轴，确保所有操作的原子性，包括提交、清理、压缩和回滚等。
- Hudi的数据表以目录结构组织，采用多版本并发控制（MVCC）来管理文件。
- Hudi支持Copy On Write和Merge On Read两种表类型，分别适用于不同的查询和更新场景。
- 快照查询和增量查询是Hudi的两种主要查询类型，支持实时数据访问和流式变化记录。
➡️
