【Rust日报】2023-07-21 reddit讨论小整理：分布式计算中的Rust
💡
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
这篇文章讨论了在Rust中实现分布式计算和处理大规模数据的问题，提出了一些解决方案和挑战，并希望找到更通用、灵活、高效的分布式计算框架。
🎯
关键要点
- 文章讨论了在Rust中实现分布式计算和处理大规模数据的问题。
- 一名机器学习工程师希望使用Rust替代现有的Python库进行数据处理。
- 他面临的挑战是如何在集群中动态传递Rust函数。
- 讨论中提到使用WASM模块与本机计算库交互的可能性，但存在性能和标准限制。
- 建议使用类似mpirun的方法通过SSH分发二进制文件进行计算。
- 提到成立社区推动Rust分布式计算项目的想法。
- 讨论结合GNU Parallel和Rust的方法以绕开序列化Rust函数的问题。
- 提到Apache Arrow Ballista和Arroyo作为分布式计算框架，但不完全符合需求。
- 建议使用Nextflow进行计算执行，但不适用于实时的Separate Running Cluster。
- 讨论了使用dll和nvidia的NCLL进行分布式编程的可能性。
- 提到r-link作为Flink的替代方案，但不满足调度任意函数的需求。
- 使用Daft Dataframe library的建议被认为不符合需求，因为其依赖于Ray。
- 最后提到Lunatic作为一个新的运行时环境，结合了多种技术。
➡️
