陈少文的博客
·
MPI 通信原语及 Python 编程使用
💡
原文中文，约6700字，阅读约需16分钟。
📝
内容提要
MPI（消息传递接口）是一种用于并行计算的通信协议，广泛应用于科学计算和深度学习。常见实现包括MPICH和OpenMPI，前者适用于标准应用，后者适合高性能网络。MPI支持点对点和集合通信原语，并兼容多种编程语言。运行MPI程序需配置环境和依赖。
🎯
关键要点
- MPI（消息传递接口）是一种用于并行计算的通信协议，广泛应用于科学计算和深度学习。
- MPI有多个实现，常用的有MPICH和OpenMPI，前者适用于标准应用，后者适合高性能网络。
- MPI支持点对点和集合通信原语，兼容多种编程语言。
- 点对点通信包括发送（MPI_Send）和接收（MPI_Recv）数据。
- 集合通信包括屏障（MPI_Barrier）、广播（MPI_Bcast）、分散（MPI_Scatter）、收集（MPI_Gather）、全收集（MPI_Allgather）、归约（MPI_Reduce）和全归约（MPI_Allreduce）。
- 安装MPICH和OpenMPI的命令分别为：apt-get install mpich -y和apt-get install openmpi-bin -y。
- MPI程序的编译命令包括mpicc（C）、mpic++（C++）和mpif77（Fortran）。
- 运行MPI程序的命令包括mpirun和mpiexec。
- 示例代码展示了如何编写MPI Python程序，使用mpi4py库进行数据传输。
- 配置免密登录需要编辑/etc/hosts文件和生成SSH密钥。
- 所有主机应安装相同的MPI实现和版本，并安装mpi4py和numpy依赖。
- 创建Hostfile文件以指定每个主机的最大进程数。
- 运行MPI程序时，可以选择多机多进程或单机多进程的方式。
➡️
