亚马逊AWS官方博客
·
基于亚马逊云科技托管 Flink 的开发系列 — 本地开发环境篇
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
2023年8月，亚马逊云将 Amazon Kinesis Data Analytics 更名为 Amazon Managed Service for Apache Flink，突出 Flink 在流数据处理中的优势。本文介绍如何在本地开发和部署 PyFlink 应用，并将其迁移到 Amazon Managed Service for Apache Flink。通过设置开发环境、生成测试数据和配置 Amazon CLI，用户可以在本地调试后，将应用上传至云端，实现高效开发。
🎯
关键要点
- 2023年8月，亚马逊云将Amazon Kinesis Data Analytics更名为Amazon Managed Service for Apache Flink，强调Flink在流数据处理中的优势。
- Amazon Managed Service for Apache Flink是一项托管服务，用户无需管理基础设施，支持Java、Scala和Python语言。
- 本地开发环境设置可以提高开发效率，建议使用PyCharm作为开发工具。
- 开发环境需要安装Miniconda和Java 11，并配置Python环境。
- 创建Amazon Kinesis Stream作为数据源，并生成测试数据以输入到input-stream中。
- Flink访问Kinesis Stream需要相应的jar包，并更新应用属性以适应区域设置。
- 程序运行后可以通过Flink Dashboard查看任务状态和日志。
- 完成本地开发后，代码需要打包成zip格式并上传到S3，才能部署到托管的Flink上。
- 在亚马逊云科技控制台创建Flink应用并配置相关参数后，可以运行程序并监控其状态。
- 本文展示了如何在本地搭建PyFlink开发环境并部署到云端，后续将介绍如何将数据写入S3。
➡️
