morling.dev -- Blog
·
在 Kubernetes 上运行 Apache Flink，第一部分，共两部分
💡
原文英文，约3400词，阅读约需13分钟。
📝
内容提要
Kubernetes 是 Apache Flink 的重要部署平台。Flink 的 Kubernetes Operator 通过声明性资源定义简化了作业的部署和管理，支持自动化操作。文章介绍了如何安装 Flink Kubernetes Operator、创建本地集群、部署 Flink 作业及管理资源，并讨论了使用自定义容器镜像和 Flink 的 Python API 进行流处理的方法。后续将探讨容错性、高可用性及监控等内容。
🎯
关键要点
- Kubernetes 是 Apache Flink 的重要部署平台，简化了作业的部署和管理。
- Flink 的 Kubernetes Operator 通过声明性资源定义支持自动化操作，减少了手动工作。
- 安装 Flink Kubernetes Operator 需要 Docker、kind 和 kubectl 等工具。
- 创建本地 Kubernetes 集群使用 kind，并配置控制平面和工作节点。
- 使用 Helm 安装 Flink Kubernetes Operator，并配置 TLS 证书管理器。
- Flink 作业通过自定义资源定义 (CRD) 部署，支持应用模式和会话模式。
- 可以使用 Flink 的 Python API (PyFlink) 实现流处理作业。
- 推荐构建自定义容器镜像以运行自己的 Flink 作业 JAR 文件，提升效率。
- 后续将探讨容错性、高可用性、保存点管理和监控等内容。
❓
延伸问答
如何在 Kubernetes 上安装 Flink Kubernetes Operator？
可以通过 Helm 安装 Flink Kubernetes Operator，首先添加 Helm 仓库，然后使用 Helm chart 进行安装。
Flink 作业在 Kubernetes 上是如何部署的？
Flink 作业通过自定义资源定义 (CRD) 部署，使用 YAML 文件描述作业及其配置，Operator 会管理所需的 Kubernetes 资源。
在 Kubernetes 上运行 Flink 作业时需要哪些工具？
需要 Docker、kind、kubectl 和 Helm 等工具来设置和管理 Kubernetes 集群及 Flink Operator。
Flink Kubernetes Operator 的自动化操作有什么优势？
自动化操作减少了手动工作，提高了作业的部署和管理效率，使得在生产环境中运行 Flink 作业更为便捷。
如何使用自定义容器镜像运行 Flink 作业？
推荐构建自定义容器镜像，将自己的 Flink 作业 JAR 文件添加到镜像中，然后在 FlinkDeployment 中引用该镜像。
Flink 在 Kubernetes 上支持哪些运行模式？
Flink 支持应用模式和会话模式，应用模式为每个作业创建独立的 Flink 集群，而会话模式则使用一个长时间运行的 Flink 集群。
➡️
