对象存储已成为主流，适合大规模非结构化数据存储。数据湖提供集中存储，数据湖屋结合了数据湖的灵活性与传统数据仓库的管理能力。pg_lake扩展使PostgreSQL能直接与数据湖交互，pg_tde则提供数据加密保护。

Apache Iceberg 3.0版本发布，新增多种数据类型、快速删除、行追踪和NULL默认值等功能，提升了数据表格式的灵活性。该版本支持数据湖屋，优化了元数据管理，并增强了对流应用和低延迟的支持。

2025年德国PostgreSQL大会将于5月8-9日在柏林举行，吸引347名参与者。会议涵盖PostgreSQL性能调优和数据湖屋构建等主题，credativ GmbH作为金牌赞助商展示了新迁移工具，活动提供了良好的交流机会，期待下届会议。

Apache Iceberg、Arrow和Polaris是数据湖屋生态系统的核心技术。Iceberg提供事务性存储，Arrow优化内存数据处理，Polaris负责元数据管理。三者结合实现高效、安全的数据存储与访问，支持多种引擎，促进开放标准和工具的互操作性。

数据湖屋结合了数据湖的灵活性与数据仓库的管理特性，解决了传统系统分离带来的复杂性和重复性问题，支持统一的数据存储与分析，简化数据处理流程，降低成本，提高数据一致性，满足现代数据团队的需求，促进高效分析与决策。

随着数据生成和使用的快速增长，企业越来越倾向于采用数据湖屋架构，结合数据湖的灵活性与数据仓库的可靠性。数据湖屋支持高效的更新、删除和合并操作，克服了传统数据湖在复杂分析中的局限性。AWS推出的Amazon S3 Tables进一步优化了Apache Iceberg的性能，简化配置，提高数据处理效率，降低查询成本。

在数据驱动的环境中，选择合适的架构至关重要。数据湖适合存储原始数据，数据仓库用于分析处理后的数据，数据湖屋结合了两者的优点，而数据集市则为特定团队提供简化的数据访问。选择架构应依据团队目标和数据成熟度。

数据湖屋结合了数据湖和数据仓库的优点，支持高效的数据存储与分析。Delta Lake是湖屋架构的核心技术，具备ACID事务和数据版本控制。Unity Catalog为Azure Databricks提供数据治理解决方案，简化多云环境的安全管理。Delta Table是默认的数据表格式，支持流式和批处理。Delta Live Tables简化了ETL管道的创建与管理。

开放表格式与对象存储的结合正在重塑数据系统架构，支持可扩展、高效的数据湖屋。通过解耦计算与存储，组织能够构建满足现代数据需求的模块化架构，提升数据处理与分析效率。

2024年，Apache Iceberg在数据湖屋架构中取得显著进展，众多公司增强了对其的支持。Iceberg通过开放表格式提供事务保障，避免数据重复。构建Iceberg湖屋需关注存储、目录和数据摄取等关键组件，以优化性能和成本。Dremio等工具可提升数据整合和查询体验。

Apache Paimon是一种新型数据湖屋格式，专注于流处理，同时支持批处理。它内置合并机制，优化大规模写入，解决了Iceberg在流处理中的小文件碎片问题，具备取代Iceberg的潜力。

企业在数据智能方面的努力已超过十年，技术进步使用户与数据的互动更加便捷。数据仓库演变为数据湖屋，结合了结构化与非结构化数据的优势，提升了数据治理和分析能力。GenAI的出现进一步改变了企业与数据的互动方式，推动了数据智能的发展。

在悉尼的DataEngBytes 2024大会上，我介绍了如何在AWS上使用Apache Iceberg构建事务性数据湖屋。数据湖屋结合了数据湖的灵活性与数据仓库的事务可靠性，适合管理多种数据。Iceberg支持ACID事务、模式演变和时间旅行，优化查询性能。通过AWS Glue和Athena等服务，构建了高效、可扩展的数据湖屋，满足金融等行业的实时数据分析和合规需求。

本文介绍了如何快速在本地搭建数据湖屋环境，使用Dremio、Nessie和Apache Iceberg。数据湖屋结合了数据湖的灵活性与数据仓库的结构化性能，适合数据存储与分析。通过Docker安装和配置，用户可轻松创建和管理数据表，实现版本控制和数据查询，提高数据管理效率。