木鸟杂记
·
在云上进行大规模数据处理的一些实践
内容提要
随着云基础设施的发展，企业逐渐将基础设施迁移至云端，强调共享与弹性。云开发与传统物理机开发存在显著差异，需要调整开发实践。在使用Ray和Spark进行大规模数据处理时，应关注功能与性能测试、资源调度及隔离性，以实现高效的云开发。
关键要点
-
随着云基础设施的发展，企业将基础设施迁移至云端，强调共享与弹性。
-
云开发与传统物理机开发存在显著差异，需要调整开发实践。
-
使用Ray和Spark进行大规模数据处理时，应关注功能与性能测试、资源调度及隔离性。
-
共享性包括多个开发机环境共享和开发环境与生产环境共享。
-
为实现多机共享，可以申请支持POSIX语义的共享云盘。
-
账号系统共享需解决不同机器的账号ID冲突问题。
-
弹性资源按需使用，但成本通常较高，需精确计算和管控资源用量。
-
使用容器技术和Kubernetes进行资源池化和任务调度。
-
调度任务时需考虑优先级和资源需求，避免死锁情况。
-
Ray支持细粒度并行，但需自行处理逻辑调度和上下游协同问题。
-
构建可观测系统以快速定位错误，包括日志收集和指标统计。
-
开发阶段和运行阶段需实现隔离性，避免环境冲突。
-
容器化技术使得逻辑运行环境的即时隔离变得容易。
-
在云环境中进行开发改变了范式，产生了新的开发实践。
延伸解读
云开发的共享性挑战
在云环境中，多个开发机和生产环境的共享性是一个重要问题。为了实现高效的资源利用，开发者需要解决账号ID冲突和环境配置问题。通过使用支持POSIX语义的共享云盘，可以简化环境迁移过程，但仍需注意账号系统的统一管理，以避免权限和数据访问的混乱。
弹性资源的成本管理
云计算的弹性资源虽然提供了按需使用的便利，但其成本往往高于固定资源。企业在使用弹性资源时，需精确计算和管控资源用量，以避免不必要的开支。建议在负载稳定时使用包年包月的资源，而在高峰期再临时申请弹性资源，以实现成本效益的最大化。
调度策略的重要性
在云上进行大规模数据处理时，调度策略至关重要。合理的调度可以避免资源的死锁和浪费，确保任务按优先级高效执行。使用支持gang scheduling的调度器，可以有效管理资源分配，提升整体系统的运行效率，尤其是在资源紧张的情况下。
延伸问答
云基础设施的发展对企业有什么影响？
云基础设施的发展促使企业将基础设施迁移至云端，强调共享与弹性。
在云上进行大规模数据处理时需要注意哪些方面？
需要关注功能与性能测试、资源调度及隔离性。
如何实现多个开发机环境的共享？
可以申请支持POSIX语义的共享云盘，将用户目录放到该云盘上以实现共享。
云开发与传统物理机开发有什么显著差异？
云开发更强调共享和弹性，并且需要调整开发实践以适应云环境。
在云环境中如何管理资源以降低成本？
需要精确计算和管控资源用量，通常会购买包年包月的机器以满足大部分需求。
使用Ray进行数据处理时需要解决哪些问题？
需要自行处理逻辑调度和上下游协同问题。
