本文探讨了SQL查询优化中的裁剪链路，分析了Trino、Spark和DuckDB在处理Iceberg表时的不同策略。通过四层漏斗模型，描述了SQL谓词到布局约束的转化过程，以及各引擎在规划和执行阶段的职责分工。实验结果表明，优化器能够有效减少扫描的数据量，提高查询效率。

本文探讨了Trino查询引擎的执行流程，包括分析、计划、分片和调度等阶段，重点介绍了Iceberg表的元数据处理及其对查询性能的影响。通过分析SqlQueryExecution的生命周期，阐明了SQL查询如何转化为分布式执行计划，并强调了EXPLAIN和EXPLAIN ANALYZE的使用，以优化查询效率。

本文比较了Trino与Spark SQL在数据处理中的差异，分析了两者的查询执行路径、优化机制及Iceberg连接器的能力。Trino采用解释型操作，而Spark通过全阶段代码生成和自适应查询执行来提升性能。文章还对比了两者在Iceberg下推能力，强调了各自的适用场景和优化风格。

本文讨论了Debezium在变更数据捕获（CDC）管道中的作用，特别是如何通过Kafka将数据库变更传输到Flink或Iceberg。重点在于理解变更事件的结构，包括操作类型（插入、更新、删除）及其对应的前后镜像。文章还探讨了快照与增量数据的处理，以及在数据湖中进行upsert时的主键和顺序要求，强调了Debezium与Flink、Iceberg之间的协作关系。

本文探讨了Flink与Iceberg在流式数据入湖中的配置与优化，分析了checkpoint间隔、提交频率与小文件数量的关系。通过调整checkpoint参数和并行度，优化提交过程，减少背压对数据可见性的影响。同时介绍了预聚合和bucket分区策略，以提高写入效率并降低小文件生成。最后提供了CDC入湖作业的检查清单，确保数据一致性与性能。

Iceberg通过四层不可变元数据树解决了对象存储中的目录管理问题。这四层分别存储表的状态、快照信息、manifest列表和数据文件，确保原子提交和快照隔离。查询时，Iceberg利用元数据快速定位数据文件，避免了传统方法中的高成本LIST操作，并支持高效的分区裁剪和文件裁剪，提升查询性能。

Iceberg通过隐藏分区和分区演进解决了Hive的分区问题。隐藏分区允许用户在数据列上写谓词，系统自动裁剪分区，避免全表扫描。分区演进则允许在不重写历史数据的情况下修改分区方案，保留旧数据的同时新增分区规范。这些设计提高了数据管理的灵活性和效率。

在Iceberg中，数据文件不可变，删除行可通过写时复制（CoW）和读时合并（MoR）两种方式实现。CoW重写整个文件，写放大高；MoR则写删除标记，适合高频删除。V3引入删除向量（DV），提高了删除效率。选择CoW或MoR取决于删除频率和读写性能需求。实验表明，CoW在删除时重写大量数据，而MoR需定期合并以避免性能下降。

At the Apache Iceberg Summit last month, Google announced new interoperability features for Apache Iceberg in BigQuery. The preview of the serverless Iceberg REST catalog lets teams create,...

文章讨论了数据管道中Schema变更的四种形状及其对应的存储格式，包括CSV、Parquet、Delta Lake和Iceberg。不同格式在处理Schema变更时的能力差异显著，Iceberg支持自动处理列的增删和重命名，而CSV则完全依赖手动处理。选择合适的格式取决于Schema变更的频率和自动化需求。

Monitoring MySQL data locks, or the tip of the iceberg This story is about recent (*) performance improvements implemented in MySQL, related to monitoring of data locks. (*) Originally written in...