亚马逊AWS官方博客
·
基于亚马逊云科技托管 Flink 的开发系列 — 本地开发环境篇
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
2023年8月，亚马逊云将 Amazon Kinesis Data Analytics 更名为 Amazon Managed Service for Apache Flink，突出 Flink 在流数据处理中的优势。本文介绍如何在本地开发和部署 PyFlink 应用，并将其迁移到 Amazon Managed Service for Apache Flink。通过设置开发环境、生成测试数据和配置 Amazon CLI，用户可以在本地调试后，将应用上传至云端，实现高效开发。
🎯
关键要点
- 2023年8月，亚马逊云将Amazon Kinesis Data Analytics更名为Amazon Managed Service for Apache Flink，强调Flink在流数据处理中的优势。
- Amazon Managed Service for Apache Flink是一项托管服务，用户无需管理基础设施，支持Java、Scala和Python语言。
- 本地开发环境设置可以提高开发效率，建议使用PyCharm作为开发工具。
- 开发环境需要安装Miniconda和Java 11，并配置Python环境。
- 创建Amazon Kinesis Stream作为数据源，并生成测试数据以输入到input-stream中。
- Flink访问Kinesis Stream需要相应的jar包，并更新应用属性以适应区域设置。
- 程序运行后可以通过Flink Dashboard查看任务状态和日志。
- 完成本地开发后，代码需要打包成zip格式并上传到S3，才能部署到托管的Flink上。
- 在亚马逊云科技控制台创建Flink应用并配置相关参数后，可以运行程序并监控其状态。
- 本文展示了如何在本地搭建PyFlink开发环境并部署到云端，后续将介绍如何将数据写入S3。
❓
延伸问答
亚马逊云科技的 Amazon Kinesis Data Analytics 现在叫什么名字？
现在叫 Amazon Managed Service for Apache Flink。
如何在本地设置 PyFlink 开发环境？
需要安装 Miniconda 和 Java 11，推荐使用 PyCharm 作为开发工具，并配置 Python 环境。
在本地开发完成后，如何将 PyFlink 应用部署到云端？
代码需要打包成 zip 格式并上传到 S3，然后在亚马逊云科技控制台创建 Flink 应用并配置相关参数。
使用 PyFlink 开发时，推荐使用哪个开发工具？
推荐使用 PyCharm，因为它在运行和调试程序上功能强大。
Flink 如何访问 Kinesis Stream？
Flink 访问 Kinesis Stream 需要相应的 jar 包，并更新应用属性以适应区域设置。
如何查看 Flink 程序的运行状态和日志？
可以通过 Flink Dashboard 查看任务状态和日志，日志文件位于 pyflink 目录中。
➡️
