湖仓一体架构在火山引擎 LAS 的探索与实践
内容提要
LAS是字节跳动提供的一站式EB级海量数据存储计算和交互分析服务，基于湖仓一体架构，支持Spark和Presto生态，帮助企业构建智能实时湖仓。LAS的核心是ByteLake数据湖内核，提供统一的元数据服务、高效数据更新、高并发性能等特性。LAS还提供了CatalogService、BMS和TMS等服务，解决元数据管理、异步任务托管和批流融合计算等问题。在抖音电商和消费行业的业务实践中，LAS能够快速入湖、解决宽表构建成本高、计算周期长等问题。
关键要点
-
LAS是字节跳动提供的一站式EB级海量数据存储计算和交互分析服务。
-
LAS基于湖仓一体架构，支持Spark和Presto生态，帮助企业构建智能实时湖仓。
-
LAS的核心是ByteLake数据湖内核，提供统一的元数据服务和高效数据更新能力。
-
LAS解决了元数据管理、异步任务托管和批流融合计算等问题。
-
数据平台发展经历了传统数仓、数据湖到湖仓一体架构的演变。
-
湖仓一体架构支持ACID能力和多种计算范式，解决了企业对数据规模和计算能力的需求。
-
ByteLake是基于Apache Hudi的湖仓一体存储引擎，提供统一的元数据服务和流批一体的读写能力。
-
ByteLake通过Bucket Index和Column Family等技术实现高效数据更新和并发性能。
-
CatalogService提供统一的元数据视图，解决异构数据源的元数据管理问题。
-
BMS是湖仓一体的元数据管理服务，负责元数据的访问和存储。
-
TMS是统一表管理服务，优化异步任务的托管，提升流式任务的稳定性。
-
抖音电商利用LAS解决了数据入湖速度慢和计算周期长的问题。
-
消费行业通过LAS实现了传统数据库的升级，满足了数据量增长的需求。
-
LAS提供的归档能力确保了数据的完整性，实现了批流融合计算。
