木鸟杂记
·
在云上进行大规模数据处理的一些实践
💡
原文中文，约5500字，阅读约需13分钟。
📝
内容提要
随着云基础设施的发展，企业逐渐将基础设施迁移至云端，强调共享与弹性。云开发与传统物理机开发存在显著差异，需要调整开发实践。在使用Ray和Spark进行大规模数据处理时，应关注功能与性能测试、资源调度及隔离性，以实现高效的云开发。
🎯
关键要点
- 随着云基础设施的发展，企业将基础设施迁移至云端，强调共享与弹性。
- 云开发与传统物理机开发存在显著差异，需要调整开发实践。
- 使用Ray和Spark进行大规模数据处理时，应关注功能与性能测试、资源调度及隔离性。
- 共享性包括多个开发机环境共享和开发环境与生产环境共享。
- 为实现多机共享，可以申请支持POSIX语义的共享云盘。
- 账号系统共享需解决不同机器的账号ID冲突问题。
- 弹性资源按需使用，但成本通常较高，需精确计算和管控资源用量。
- 使用容器技术和Kubernetes进行资源池化和任务调度。
- 调度任务时需考虑优先级和资源需求，避免死锁情况。
- Ray支持细粒度并行，但需自行处理逻辑调度和上下游协同问题。
- 构建可观测系统以快速定位错误，包括日志收集和指标统计。
- 开发阶段和运行阶段需实现隔离性，避免环境冲突。
- 容器化技术使得逻辑运行环境的即时隔离变得容易。
- 在云环境中进行开发改变了范式，产生了新的开发实践。
❓
延伸问答
云基础设施的发展对企业有什么影响？
云基础设施的发展促使企业将基础设施迁移至云端，强调共享与弹性。
在云上进行大规模数据处理时需要注意哪些方面？
需要关注功能与性能测试、资源调度及隔离性。
如何实现多个开发机环境的共享？
可以申请支持POSIX语义的共享云盘，将用户目录放到该云盘上以实现共享。
云开发与传统物理机开发有什么显著差异？
云开发更强调共享和弹性，并且需要调整开发实践以适应云环境。
在云环境中如何管理资源以降低成本？
需要精确计算和管控资源用量，通常会购买包年包月的机器以满足大部分需求。
使用Ray进行数据处理时需要解决哪些问题？
需要自行处理逻辑调度和上下游协同问题。
➡️
