趣加（FunPlus）是一家成立于2010年的全球游戏开发公司，专注于创新娱乐体验。通过迁移到Amazon MSK Express Broker，趣加成功降低了50%的运营成本，并提升了系统性能和可靠性，优化了数据处理架构，增强了游戏业务的持续增长能力。

数据湖是大数据时代的重要基础设施，Apache Iceberg因其出色的数据管理和兼容性而受到关注。Iceberg支持复杂数据类型和事务处理，确保数据一致性。通过AWS Glue和Kafka Connect，用户可以实现数据实时入湖，提高分析效率。本文介绍了如何利用Iceberg和Kafka Connect简化数据同步，支持多表和单表模式，以满足企业对数据时效性的需求。

本文介绍了Amazon MSK流量成本优化的最佳实践，通过KIP-392实现消费者在同可用区内就近读取消息，降低跨可用区数据传输成本，提高消费效率。合理设置partition和使用机架感知技术可进一步减少流量费用，提升性能。

流式计算是一种实时处理数据流的模式，适合低延迟应用。RisingWave是一种新型SQL流式数据库，简化流处理逻辑，支持实时数据复制，并与AWS服务良好集成，提升开发效率。

AWS 新闻博客庆祝20周年，回顾自2004年首篇文章以来的发展，现有4300多篇文章，强调客户至上的原则。近期推出了多项新功能，如Amazon MSK的新Express代理、Kinesis客户端库3.0和Windows Server 2025映像，提升了性能和效率。AWS还将举办多项活动，推动技术创新。

Amazon发布了新型Apache Kafka代理——Express代理，吞吐量提升三倍，扩展速度快20倍，恢复时间缩短90%。该代理支持Kafka API，提供低延迟性能，简化运维，具备无限存储和更高韧性，适合各种Kafka工作负载。

上周，AWS 发布多项新功能：Amazon RDS for MySQL 实现零 ETL 集成，Oracle Database@AWS 简化云迁移，Amazon OpenSearch Service 更新至 2.15 版，提升搜索性能。AWS Resource Access Manager 和 Network Firewall 支持 PrivateLink，增强安全性。AWS IAM Identity Center 增加自定义功能，Amazon EventBridge Pipes 支持 KMS 密钥，AWS Glue Data Catalog 优化存储，Amazon MSK 支持跨集群复制，Amazon SageMaker 提升实时推理一致性。AWS GenAI Lofts 活动全球展开，AWS 认证考试有优惠。

本文介绍了使用MSK Managed VPC连接和VPC Peering实现跨区域私有连接的方法，通过Proxy VPC建立MSK连接申请并与Kafka Client所在VPC建立Peering Connection，实现跨区域的MSK访问。文章提供了部署步骤和验证测试。MSK Managed VPC connection提供托管的私有访问方式，简化了网络互连难度。VPC Peering提供简单跨区域的私有网络连接，但增加了网络安全隔离难度。本方案结合了两者的优势，满足网络安全隔离要求，实现跨区域的MSK访问。

亚马逊云科技推荐企业客户采用Amazon MSK + Lambda的无服务器事件驱动处理架构，提供云原生优势。该架构支持Kafka API导入实时数据流到数据湖仓，具有资源弹性、数据流处理时效性和高并发波峰响应处理能力。同时提供后处理扩展能力，包括数据存储服务、安全控制、数据加密存储传输、监控告警日志以及机器学习和大数据分析应用。在中国大陆的北京/宁夏区域，暂未发布Lambda ESM for MSK功能，需采用Apache Kafka URL作为跨账号Lambda触发源实现跨账号的数据流处理架构。

ClickHouse是一款用于大规模实时数据分析的列式数据库管理系统，本文介绍了通过MSK、MSK Connect ClickHouse Kafka Connector和Glue Schema Registry搭建全托管无服务器架构的实时数据摄取能力，并通过ClickHouse与S3的集成降低海量实时数据存储成本。

在大数据时代，实时数据同步应用广泛，包括在线数据库构建实时数据仓库和跨区域数据复制。Amazon Web Services提供了多种数据同步方式，包括Amazon Zero-ETL、AWS Database Migration Service（DMS）和Flink + Kafka。选择合适的方案需要考虑数据源和目标的支持、架构稳定性、数据转换能力、实时性、复杂度和成本等因素。此外，还介绍了如何通过EMR Flink和Kafka构建跨区域DocumentDB之间的实时数据同步。方案可以实现高可用性和性能优化。

Amazon推出MSK Replicator，可帮助用户在MSK集群之间设置跨区域和同区域复制，并自动扩展以处理工作负载。使用需付费，可提高架构弹性，存储数据靠近合作伙伴和最终用户。同时，可将流数据复制到单个集中式集群，以便更轻松地进行分析。

Amazon MSK推出新功能，允许用户使用Amazon Kinesis Data Firehose将数据从Apache Kafka集群连续加载到Amazon S3。该解决方案完全托管，无需编码和基础架构管理，并处理数据转换、压缩和错误处理。新功能在所有AWS区域中可用，定价基于从Amazon MSK传输到Amazon S3的数据量。

本文介绍了在EC2上安装和配置Kafka Connect，创建Topic和S3存储桶，制作带有S3 Sink Connector和S3 Source Connector的Kafka Connect镜像，并测试验证了以S3为中转媒介的MSK数据导出、导入、备份、还原链路的正常工作。提供了清理操作。

本文介绍了使用Amazon MSK、Amazon Redshift和Amazon QuickSight快速搭建简易实时数仓的步骤，包括创建MSK集群和主题，创建Redshift集群和物化视图，以及配置QuickSight连接到Redshift并创建图表。文章提供了详细的操作步骤，并建议用户进一步探索Redshift和QuickSight的功能。