InfoQ
·
Allegro如何将GCP数据流管道的运行成本降低60%
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
Allegro在GCP大数据平台上优化数据流管道，实现成本降低约60%。通过分析CPU和内存利用率，调整计算实例类型，选择最佳虚拟机，使用SSD存储，并关闭高成本的Dataflow Shuffle服务，年成本从127万美元降至48万美元。每个数据管道需个性化评估以降低运营成本。
🎯
关键要点
- Allegro在GCP大数据平台上优化数据流管道，实现成本降低约60%。
- 通过分析CPU和内存利用率，调整计算实例类型，选择最佳虚拟机，使用SSD存储。
- 关闭高成本的Dataflow Shuffle服务，年成本从127万美元降至48万美元。
- CPU利用率分析显示平均为85%，而内存利用率仅为50%。
- 选择t2d-standard-8虚拟机类型以获得最佳性价比，使用3%原始数据集实现32%成本降低。
- 使用SSD存储比HDD更便宜，进一步降低成本。
- 关闭Dataflow Shuffle服务显著降低成本，并提高工作节点内存利用率。
- 每个数据管道需个性化评估以降低运营成本。
➡️
