亚马逊AWS官方博客 ·

基于亚马逊云科技托管 Flink 的开发系列 — SSL 认证的 Kafka 读取篇

💡 原文中文，约6000字，阅读约需15分钟。

📝

内容提要

本文介绍了如何在Apache Flink中通过SSL认证读取Apache Kafka数据并写入Amazon S3。首先配置Kafka的SSL认证，使用Keystore和Truststore管理证书。然后，通过Apache Kafka Config Providers从Amazon Secrets Manager和S3获取配置，确保安全性。最后，演示了如何打包依赖并运行程序，将数据成功写入S3。

🎯

关键要点

本文介绍如何在Apache Flink中通过SSL认证读取Apache Kafka数据并写入Amazon S3。
Apache Kafka支持基于SSL和SASL的安全认证机制，本文主要讨论SSL双向认证。
Kafka的SSL设置使用Keystore和Truststore管理证书和密钥。
Flink作为Kafka客户端，需要使用相应的Truststore和Keystore文件。
Apache Kafka Config Providers允许在程序中读取配置，防止凭证以明文形式存储。
需要在Amazon Secrets Manager中创建密钥，并将Truststore和Keystore的JKS文件上传到Amazon S3。
将所有依赖的Jar文件和程序打包成Fat Jar文件以便在Flink环境中使用。
演示了如何读取Kafka数据并写入Amazon S3，包括生成源数据和配置相关Java包。
在运行程序前需更新应用属性和运行配置，确保正确连接到Kafka和S3。
验证结果时可在S3控制台查看生成的JSON文件，确认数据写入成功。
部署上云时需确保Flink角色具有访问Secrets Manager和S3的权限。
本文总结了使用Apache Flink读取SSL认证的Kafka数据并写入S3的过程。

❓

延伸问答

如何在Flink中配置SSL认证以读取Kafka数据？

在Flink中配置SSL认证以读取Kafka数据，需要使用Keystore和Truststore管理证书，并确保Flink作为Kafka客户端使用相应的文件。

Apache Kafka Config Providers的作用是什么？

Apache Kafka Config Providers允许在程序中读取配置，防止凭证以明文形式存储，并支持从Amazon Secrets Manager和S3检索配置参数。

如何将数据从Kafka写入Amazon S3？

通过在Flink中读取Kafka数据并配置S3桶名，运行程序后可以将数据写入Amazon S3，并在控制台验证结果。

在使用Flink时如何打包依赖的Jar文件？

需要将所有依赖的Jar文件和程序打包成一个Fat Jar文件，以便在Flink环境中使用，使用Maven进行打包。

如何在Amazon Secrets Manager中创建密钥？

在Amazon Secrets Manager中创建名为kafak_ssl_credential的密钥，并设置Truststore和Keystore的密码。

Flink程序运行前需要更新哪些配置？

在运行Flink程序前，需要更新应用属性和运行配置，包括Kafka服务器地址和Truststore、Keystore的S3路径。

🏷️