我的数据工程Zoomcamp之旅：第三周 - 数据仓库与BigQuery！
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
本文讨论了OLAP与OLTP的区别，以及Google BigQuery的特点。OLTP用于实时交易，OLAP用于数据分析。BigQuery是无服务器的数据仓库，支持按需计费和内置机器学习。优化查询需利用分区和聚类，以减少不必要的查询和数据加载，数据结构和查询优化对数据工程师至关重要。
🎯
关键要点
- OLTP用于实时交易，OLAP用于数据分析。
- OLTP处理短小快速的用户更新，OLAP使用定期的长时间批处理作业。
- OLTP数据库设计为规范化，OLAP数据库设计为非规范化。
- OLTP的空间需求较小，OLAP需要更大的空间来存储大量数据。
- BigQuery是一个完全托管的无服务器数据仓库，支持自动扩展。
- BigQuery的定价模型包括按需计费和固定费率。
- 优化BigQuery查询需要使用分区和聚类技术。
- 分区适用于单列过滤，聚类适用于多列查询和高基数数据集。
- BigQuery自动重新聚类表以保持查询性能。
- 最佳实践包括避免SELECT *、使用分区/聚类表、谨慎流插入等。
➡️
