Databricks
·
宣布Zerobus Ingest的正式发布，作为Lakeflow Connect的一部分
💡
原文英文，约1000词，阅读约需4分钟。
📝
内容提要
Zerobus Ingest是一种无服务器的数据流服务，简化了传统流架构，直接将数据推送至Lakehouse，降低成本并提升性能。它支持高并发连接，消除中间消息总线的复杂性，减少运营开销，适用于多种开发接口。
🎯
关键要点
- Zerobus Ingest是一种无服务器的数据流服务，简化了传统流架构，直接将数据推送至Lakehouse。
- Zerobus Ingest降低了成本并提升了性能，支持高并发连接，达到每秒超过10GB的吞吐量。
- 传统消息总线如Kafka的多接收器架构增加了复杂性和成本，而Zerobus Ingest采用单接收器架构，优化了数据直接推送至Lakehouse的过程。
- Zerobus Ingest简化了传统流架构，从五个管理系统减少到两个组件，消除了多个故障点，降低了运营开销。
- 开发者可以通过gRPC和REST API或语言特定的SDK进行集成，支持多种行业特定的推送接口。
- 每次写入都由Unity Catalog管理，确保数据流的统一治理和自动追踪。
- 丰田汽车利用Zerobus Ingest实现实时制造监控，支持其碳中和战略和运营效率。
- Joby Aviation通过Zerobus Ingest每分钟将飞机遥测数据流直接传输至Lakehouse，实现近实时的飞行性能分析。
🏷️
标签
➡️
