我(傻乎乎的)尝试构建Flink与BigQuery源连接器
原文英文,约3400词,阅读约需13分钟。发表于: 。So hello everyone! Here I am, taking you in this journey of my attempt on creating a Flink BigQuery Source Connector. For the sake of it, I will skip a lot of "What's Flink", "BigQuery: An...
本文介绍了创建Flink与BigQuery源连接器的过程,重点讲解了Split、SplitEnumerator和SplitReader等组件的实现及功能。Split是数据处理的基本单元,包含检索数据所需的信息;SplitEnumerator负责发现和创建Splits,并将其分配给Readers;SplitReader则从Split中读取数据并推送到下游。最终,Source将所有组件连接,形成完整的数据流处理框架。