Hudi系列介绍了核心概念，包括时间轴、文件布局、索引类型和表类型。Hudi支持布隆过滤器和记录索引等多种索引机制，以提高写入和查询效率。表类型分为COW和MOR，适用于不同场景。Hudi的全局和非全局索引确保数据一致性和快速访问。

四. 表类型四、简介Hudi 表类型定义了数据的存储方式以及如何在表上执行写入操作（即如何写入数据）。反过来，查询类型定义了如何将底层数据暴露给查询（即如何读取数据）。Hudi 引入了以下目前已在业界广泛使用的表类型，根据实际情况权衡取舍。Copy On Write ：Merge On Read：读取时合并 (MoR) 表类型通过使用定期压缩将轻量级日志文件与基础文件合并，从而平衡写入和读取性能。

简介Hudi 中最基础的索引机制会一致地跟踪从给定键（记录键 + 可选分区路径）到文件 ID 的映射。其他类型的索引（如二级索引）都以此为基础构建。一旦将记录的第一个版本写入文件组，记录键和文件组/文件 ID 之间的映射就很少会发生变化。只有以删除 +...

Hudi的核心是维护在不同时刻（Instant）在表上执行的所有操作的时间轴，提供表的即时视图，同时还有效地支持按时间顺序检索数据。hudi保证在时间线上的操作都是基于即时时间的，两者的时间保持一致并且是原子性的,以下是有效的操作类型。▪1.3 时间线上的Instant action操作类型。1.3 时间线上的Instant action操作类型。▪1.1...

•每个切片包含一个基本文件 (parquet/orc/hfile)（由配置 - hoodie.table.base.file.format 定义），由在特定时刻完成的提交写入，以及一组日志文件 (.log.)，由在下一个基本文件请求时刻之前完成的提交写入。日志文件包含不同的块（数据、命令、删除块等），这些块对基础文件的特定更改进行编码。•Hudi 采用多版本并发控制...

随着智能数据时代的到来，数据量爆发式增长，数据形态呈海量化和多样化发展。华为云数仓GaussDB(DWS)湖仓融合技术可以实现对数据湖的无缝访问和融合查询，同时提供极致的查询性能。湖仓融合技术支持多种数据格式，如文本类型、列存存储格式、Parquet/ORC和Hudi。湖仓融合的功能包括变更数据、实时性、数据事务、并发性、多版本能力、存储优化和数据管理。湖仓融合还可以通过元数据打通实现统一的数据目录和表结构。

本文介绍了火山引擎LAS团队自研的多场景样本离线存储技术，用于处理机器学习系统的离线数据流。文章揭秘了流批一体样本生成的过程，并分享了对Hudi内核的优化和改造，以及在数据处理领域的实际应用和效果。同时，还有新人优惠购福利等着读者。

目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。1.HoodiePipeline.java 将Hudi内核读写接口进行封装，提供Hudi DataStream API。1）HoodiePipeline.java ，该类将Hudi内核读写接口进行封装，提供Hudi DataStream...

Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎。

本文主要介绍 Presto 如何更好的利用 Hudi 的数据布局、索引信息来加速点查性能。

数据是当今分析世界的宝贵资产。在向最终用户提供数据时，跟踪数据在一段时间内的变化非常重要。渐变维度 (SCD) 是随时间推移存储和管理当前和历史数据的维度。 在 SCD 的类型中，我们将特别关注类型 2（SCD 2），它保留了值的完整历史。每条记录都包含有效时间和到期时间，以标识记录处于活动状态的时间段。这可以通过少数审计列来实现。例如：有效开始日期、有效结束日期和活动记录指示器。 ...

随着 Lakehouse 的日益普及，人们对分析和比较作为该数据 架构 核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。 目前发表的大多数比较文章似乎仅将这些项目评估为传统的仅附加工作负载的表/文件格式，而忽略了一些对现代数据湖平台至关重要的品质和特性，这些平台需要通过连续的表管理来支持更新繁重的工作负载。本文将深入探讨...