AWS Architecture Blog
·
尼尔森如何在亚马逊EKS上利用无服务器概念进行大数据处理与Spark工作负载
💡
原文英文，约1500词，阅读约需6分钟。
📝
内容提要
尼尔森营销云通过在亚马逊EKS上运行小型本地Spark集群，解决了数据处理中的性能下降和数据倾斜问题，避免了远程数据交换，提升了处理效率，成本降低55%。新架构实现线性扩展，显著提高了每个实例的性能。
🎯
关键要点
- 尼尔森营销云每天处理25 TB数据和300亿事件，面临Apache Spark工作负载扩展的挑战。
- 随着集群规模的扩大，实例性能下降，导致每小时工作量减少和处理成本上升。
- 数据倾斜问题导致处理瓶颈，极端情况下可能导致集群失败。
- 尼尔森决定在亚马逊EKS上运行小型本地Spark集群，避免远程数据交换，提升处理效率。
- 新架构实现线性扩展，处理速度更快，成本降低55%。
- 远程洗牌是数据在Spark实例间交换的过程，速度远低于内存计算，导致处理时间显著增加。
- 通过减少集群规模并增加小型集群，尼尔森消除了每个数据工作项的远程洗牌。
- 新系统设计包括工作项队列、本地模式Spark模块和工作管理器等组件。
- 新系统的性能提升约130%，并保持每GB处理成本接近不变。
- 尼尔森的转型展示了在大数据处理中的重新思考和线性扩展的潜力。
➡️
