DEV Community
·
我（傻乎乎的）尝试构建Flink与BigQuery源连接器
💡
原文英文，约3400词，阅读约需13分钟。
📝
内容提要
本文介绍了创建Flink与BigQuery源连接器的过程，重点讲解了Split、SplitEnumerator和SplitReader等组件的实现及功能。Split是数据处理的基本单元，包含检索数据所需的信息；SplitEnumerator负责发现和创建Splits，并将其分配给Readers；SplitReader则从Split中读取数据并推送到下游。最终，Source将所有组件连接，形成完整的数据流处理框架。
🎯
关键要点
- 本文介绍了创建Flink与BigQuery源连接器的过程。
- Split是数据处理的基本单元，包含检索数据所需的信息。
- SplitEnumerator负责发现和创建Splits，并将其分配给Readers。
- SplitReader从Split中读取数据并推送到下游。
- Source将所有组件连接，形成完整的数据流处理框架。
- BigQuerySourceSplit包含从BigQuery检索数据所需的元数据。
- BigQuerySplitEnumerator用于创建Splits并将其分配给Readers。
- SplitReader负责根据Split的元数据收集和读取数据。
- SourceReader负责请求Split并处理数据。
- BigQueryDataStreamSource是连接所有组件的最终类。
➡️
