Apache Wayang 实现跨平台数据处理
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
Apache Wayang是一个统一多种数据处理平台的数据处理框架，支持SQL和Java。它通过三层架构优化任务执行，自动选择最佳平台，降低成本，适用于跨平台数据分析，提高效率。
🎯
关键要点
- Apache Wayang是一个统一多种数据处理平台的数据处理框架，支持SQL和Java。
- Wayang通过三层架构优化任务执行，自动选择最佳平台，降低成本。
- Wayang可以运行跨不同关系数据库的联合SQL查询，并选择最具成本效益的处理平台。
- Wayang的三层架构在应用程序和支持数据系统之间插入了一个抽象层，自动选择数据系统。
- Wayang允许在一个管道中使用多个处理引擎，如Apache Flink、Apache Spark和Tensorflow。
- Wayang的查询优化器可以根据操作成本和数据移动成本来确定最佳执行工作流。
- Wayang支持多种框架，包括Apache Flink、Apache Spark和Postgres等。
- Scalytics公司利用Wayang技术推出了联邦数据处理功能，旨在创建“虚拟数据湖”。
➡️
