湖仓一体架构在火山引擎 LAS 的探索与实践
💡
原文中文，约8600字，阅读约需21分钟。
📝
内容提要
LAS是字节跳动提供的一站式EB级海量数据存储计算和交互分析服务，基于湖仓一体架构，支持Spark和Presto生态，帮助企业构建智能实时湖仓。LAS的核心是ByteLake数据湖内核，提供统一的元数据服务、高效数据更新、高并发性能等特性。LAS还提供了CatalogService、BMS和TMS等服务，解决元数据管理、异步任务托管和批流融合计算等问题。在抖音电商和消费行业的业务实践中，LAS能够快速入湖、解决宽表构建成本高、计算周期长等问题。
🎯
关键要点
- LAS是字节跳动提供的一站式EB级海量数据存储计算和交互分析服务。
- LAS基于湖仓一体架构，支持Spark和Presto生态，帮助企业构建智能实时湖仓。
- LAS的核心是ByteLake数据湖内核，提供统一的元数据服务和高效数据更新能力。
- LAS解决了元数据管理、异步任务托管和批流融合计算等问题。
- 数据平台发展经历了传统数仓、数据湖到湖仓一体架构的演变。
- 湖仓一体架构支持ACID能力和多种计算范式，解决了企业对数据规模和计算能力的需求。
- ByteLake是基于Apache Hudi的湖仓一体存储引擎，提供统一的元数据服务和流批一体的读写能力。
- ByteLake通过Bucket Index和Column Family等技术实现高效数据更新和并发性能。
- CatalogService提供统一的元数据视图，解决异构数据源的元数据管理问题。
- BMS是湖仓一体的元数据管理服务，负责元数据的访问和存储。
- TMS是统一表管理服务，优化异步任务的托管，提升流式任务的稳定性。
- 抖音电商利用LAS解决了数据入湖速度慢和计算周期长的问题。
- 消费行业通过LAS实现了传统数据库的升级，满足了数据量增长的需求。
- LAS提供的归档能力确保了数据的完整性，实现了批流融合计算。
➡️
