Apache Paimon 实验室：Flink 和 Trino
💡
原文英文，约900词，阅读约需3分钟。
📝
内容提要
Apache Paimon是一种新型数据湖屋格式，专注于流处理，同时支持批处理。它内置合并机制，优化大规模写入，解决了Iceberg在流处理中的小文件碎片问题，具备取代Iceberg的潜力。
🎯
关键要点
- Apache Paimon是一种新型数据湖屋格式，专注于流处理，同时支持批处理。
- Paimon具备取代Iceberg的潜力，成为新的数据湖屋标准。
- Iceberg在流处理场景中面临小文件碎片化的问题，影响查询性能。
- Paimon内置合并机制和大规模写入优化，更适应流处理场景。
- 实验环境包括Iceberg与Flink、Iceberg与Trino，以及Paimon与Trino和Flink的组合。
- 使用Paimon时需要配置正确的目录和表，支持流式数据写入。
- Paimon支持多种元存储，但为了简化，实验中仅使用S3作为元存储。
- 使用S3作为仓库时，需要配合Hive元存储或JDBC元存储以确保一致性。
- 未来实验将关注需要一致性的场景，以避免快照丢失。
➡️
