The Cloudflare Blog
·
R2数据目录：零出站费用的托管Apache Iceberg表
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
Apache Iceberg正成为对象存储中分析大型数据集的标准格式。Cloudflare R2推出R2数据目录，简化Iceberg的使用，支持ACID事务和模式演变，用户可通过标准接口连接现有引擎，且无需支付数据传输费用。
🎯
关键要点
- Apache Iceberg正成为对象存储中分析大型数据集的标准格式。
- Cloudflare R2推出R2数据目录，简化Iceberg的使用，支持ACID事务和模式演变。
- 用户可通过标准接口连接现有引擎，无需支付数据传输费用。
- Iceberg是一个开放的表格式，提供ACID事务、时间旅行和模式演变等数据库特性。
- Iceberg解决了数据湖中缺乏统一元数据层的问题，避免了数据损坏和昂贵的全表扫描。
- Iceberg表由数据文件和元数据文件组成，元数据文件描述表快照、模式和分区布局。
- 数据目录确保一致的访问，允许多个查询引擎安全地读取和写入相同的表。
- R2数据目录在公开测试阶段，使用时不收取额外费用，存储费用与标准R2桶相同。
- 未来计划引入数据目录操作的定价，例如创建表和检索表元数据等。
- Cloudflare将继续优化数据压缩和表优化，以提高查询性能。
❓
延伸问答
什么是Apache Iceberg？
Apache Iceberg是一种开放的表格式，用于分析存储在对象存储中的大型数据集，提供ACID事务、时间旅行和模式演变等数据库特性。
R2数据目录的主要功能是什么？
R2数据目录简化了Iceberg的使用，支持ACID事务和模式演变，用户可以通过标准接口连接现有引擎，且无需支付数据传输费用。
使用R2数据目录有什么费用？
在公开测试阶段，R2数据目录不收取额外费用，存储费用与标准R2桶相同，未来可能会引入数据目录操作的定价。
Iceberg如何解决数据湖中的问题？
Iceberg通过提供ACID事务、维护优化的元数据和支持模式演变，解决了数据湖中缺乏统一元数据层的问题，避免了数据损坏和昂贵的全表扫描。
如何在R2上创建第一个Iceberg表？
用户可以通过启用R2数据目录、创建Cloudflare API令牌、安装PyIceberg和PyArrow，然后连接到目录并创建表来创建第一个Iceberg表。
R2数据目录如何确保数据访问的一致性？
R2数据目录通过集中跟踪表和当前元数据，确保多个查询引擎可以安全地读取和写入相同的表，避免冲突和数据损坏。
➡️
