💡
原文中文，约18500字，阅读约需45分钟。
📝
内容提要
本文介绍了如何测试Amazon MSK的扩容性能和故障转移能力，包括增加分区、代理和磁盘容量的测试，以及模拟故障转移场景的测试。测试结果表明，增加分区和磁盘容量对工作负载影响较小，增加代理数量可能会导致生产者中断，但不会影响消费者组重新平衡。在故障转移测试中，消费者因重新平衡被阻塞时间较短，生产者和消费者不会中断，偏移量也不会延迟。
🎯
关键要点
- 测试背景：随着数据量和流量的增长，Kafka 集群的性能和容量需求增加，Amazon MSK 提供托管式 Kafka 服务以解决扩容问题。
- 相关名词解释：介绍了 Kafka 中的主题、生产者、消费者、分区、偏移量、代理服务器、消费者组及其平衡机制。
- 测试环境：测试在弗吉尼亚北部的 Amazon MSK 上进行，使用 Apache Kafka 2.8.1 版本，配置了特定的压测实例和集群模式。
- Kafka 常用命令：提供了创建、删除、修改和查询 Topic 的命令，以及分区重新分配和生产测试数据的命令。
- 测试前提：测试基于压测实例和 Amazon MSK 在同一 VPC，使用默认配置进行。
- 测试架构图：展示了测试的整体架构和流程。
- 测试用例：包括增加磁盘容量、代理数量和分区数量的时间测试，以及故障转移的时间测试，分别在有无工作负载的情况下进行。
- 测试方法：详细描述了每种测试的具体步骤和方法，包括如何记录时间和观察指标。
- 测试数据：提供了不同测试用例的具体数据和结果，包括增加磁盘容量、代理数量、分区数量和故障转移的时间及影响。
- 测试结论：总结了扩容和故障转移的影响，指出增加磁盘容量对工作负载影响小，增加代理数量和分区数量时可能导致消费者阻塞，生产者短暂中断，但偏移量未明显延迟。
➡️
