InfoQ
·
AWS Lambda 原生支持 Avro 和 Protobuf 格式的 Kafka 事件，并实现模式注册中心集成
内容提要
AWS Lambda现已原生支持Apache Avro和Protocol Buffers格式，简化了与Apache Kafka的集成。此功能支持与多个模式注册中心对接，自动处理事件验证和解码，降低开发复杂性。开发者可通过Kafka开源接口构建函数，优化计算成本，并在ESM层过滤事件。适用于所有AWS Lambda Kafka ESM可用区域。
关键要点
-
AWS Lambda现已原生支持Apache Avro和Protocol Buffers格式，简化与Apache Kafka的集成。
-
此功能支持与多个模式注册中心对接，自动处理事件验证和解码，降低开发复杂性。
-
开发者可通过Kafka开源接口构建函数，优化计算成本，并在ESM层过滤事件。
-
Lambda的ESM现在原生处理复杂性，将模式注册中心集成逻辑从应用层转移到托管服务。
-
内置集成使得传入的JSON Schema、Avro和Protobuf记录自动验证，简化开发流程。
-
事件过滤规则可在上游设置，以在函数调用前丢弃无关事件，进一步优化计算成本。
-
配置需要启用Kafka ESM的Provisioned Mode，并通过AWS管理控制台或CLI指定模式注册中心设置。
-
此新功能适用于Amazon MSK、Confluent Cloud和自管理Kafka集群。
-
ESM自动处理模式演变，通过检测更新的模式ID并获取最新定义。
-
在所有AWS商业区域中，Apache Avro和Protocol Buffers格式的事件在AWS Lambda Kafka ESM中普遍可用，除了以色列、马来西亚和加拿大西部。
延伸解读
简化开发流程
AWS Lambda 现在原生支持 Avro 和 Protobuf 格式，极大简化了与 Kafka 的集成。开发者不再需要编写复杂的反序列化代码，Lambda 会自动处理事件验证和解码。这一变化不仅提高了开发效率，还降低了出错的风险，适合需要快速迭代的项目。
成本优化潜力
通过在 ESM 层进行事件过滤，开发者可以在函数调用前丢弃无关事件，从而减少不必要的 Lambda 调用。这种优化有助于降低计算成本，尤其是在高并发场景下，能够显著提升资源利用率。
模式演变管理
新功能自动处理模式演变，能够检测更新的模式 ID 并获取最新定义。这意味着开发者可以更轻松地应对数据结构的变化，确保系统的灵活性和可维护性，减少因模式不匹配导致的错误。
延伸问答
AWS Lambda如何支持Avro和Protobuf格式的Kafka事件？
AWS Lambda现已原生支持Apache Avro和Protocol Buffers格式，简化了与Apache Kafka的集成。
使用AWS Lambda处理Kafka事件的优势是什么？
此功能自动处理事件验证和解码，降低开发复杂性，优化计算成本。
如何配置AWS Lambda的Kafka ESM以支持模式注册中心？
需要启用Kafka ESM的Provisioned Mode，并通过AWS管理控制台或CLI指定模式注册中心设置。
AWS Lambda如何处理模式演变？
ESM自动处理模式演变，通过检测更新的模式ID并获取最新定义。
AWS Lambda的事件过滤规则如何工作？
事件过滤规则可在上游设置，以在函数调用前丢弃无关事件，进一步优化计算成本。
AWS Lambda支持哪些Kafka集群？
此新功能适用于Amazon MSK、Confluent Cloud和自管理Kafka集群。
