解道jdon.com
·
在CPython中实现纯Python函数的真正并行性
💡
原文约5700字/词，阅读约需14分钟。
📝
内容提要
在CPython中实现纯Python函数的真正并行性一直是一个难题。Python通过引入GIL（全局解释器锁）来防止并行性。在Python 3.12中，可以使用子解释器实现并行性，每个子解释器都有自己的GIL。子解释器是一种有前途的并行Python代码机制，但与基于C/C++扩展的库不兼容。使用C/C++扩展函数可能更合适，因为编译后的代码可以提高速度。随着Python 3.13的发布，子解释器将成为stdlib的一部分。
🎯
关键要点
- 在CPython中实现纯Python函数的真正并行性一直是一个难题。
- Python通过引入GIL（全局解释器锁）来防止并行性。
- Python 3.12中引入了子解释器，每个子解释器都有自己的GIL，允许真正的并行性。
- 子解释器与基于C/C++扩展的库不兼容，使用C/C++扩展函数可能更合适。
- Python 3.13将把子解释器纳入标准库。
- 并行性是任务同时运行，而并发是任务在重叠时间段内运行。
- 进程和线程是现代操作系统中的基本并行/并发原语。
- Python通过GIL限制了多线程的并行执行，导致CPU密集型任务的多线程无优势。
- 使用multiprocessing模块可以在Python中实现并行性，但会产生开销。
- C/C++扩展可以在Python中实现真正的并行性，允许多个线程并行运行。
- Python 3.12引入了多个GIL的支持，允许在单个进程中运行多个Python代码线程。
- 子解释器的优势在于比生成进程便宜，且不需要获取GIL。
- 子解释器的使用可能与一些常用的Python库（如Numpy）不兼容。
- 子解释器在性能上比多处理模块更快，具有显著优势。
- 随着Python 3.13的发布，子解释器将变得更有吸引力。
➡️
