木鸟杂记
·
Snowflake：云原生数仓的开创者
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
Snowflake是一种云原生数据仓库，具有存算分离、多租户和高性能等特点。它的架构包括存储层、计算层和元信息层。
🎯
关键要点
- Snowflake 是一种云原生数据仓库，具有存算分离、多租户和高性能等特点。
- Snowflake 由甲骨文的两位员工于 2012 年创办，2020 年上市市值高达 700 亿美金。
- Snowflake 的设计目标包括存算分离、多租户隔离性和高性能。
- Snowflake 的架构分为存储层、计算层和元信息层。
- 存储层使用对象存储，特点包括自容错和不可变性。
- Snowflake 的数据组织方式为微分区（micro-partition），支持动态分区和列存储。
- DML 操作通过版本号管理实现 MVCC，并支持时间回溯功能。
- 计算层使用虚拟数仓（VM）来组织计算单元，支持 MPP（大规模并行处理）。
- Snowflake 的计算引擎特点包括列式存储、向量化执行和推模型。
- VM 的大小可以动态伸缩，按需计费，提升用户体验。
- 执行引擎通过缓存机制提高数据访问效率，使用一致性哈希算法维护缓存。
➡️
