Est's Blog
·
gRPC Python、AsyncIO与多进程
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
本文探讨了在Python中整合gRPC、AsyncIO和多进程的挑战。作者在将内部代码库的mesh API服务器集成到gRPC时，面临实现复杂性和GIL限制的问题。尽管尝试了多进程方案，但由于h2的连接复用特性遇到困难。最终，通过结合ProcessPoolExecutor和asyncio，成功实现了gRPC服务器的异步处理。
🎯
关键要点
- 本文探讨了在Python中整合gRPC、AsyncIO和多进程的挑战。
- 作者在将内部代码库的mesh API服务器集成到gRPC时，面临实现复杂性和GIL限制的问题。
- 尽管尝试了多进程方案，但由于h2的连接复用特性遇到困难。
- 最终，通过结合ProcessPoolExecutor和asyncio，成功实现了gRPC服务器的异步处理。
- gRPC是基于h2和protobuf的，但选项有限，决定使用gRPC以避免混乱。
- 现有业务逻辑采用async/await风格，导致gRPC服务器只能在单个CPU上运行。
- 尝试使用多进程解决GIL问题，但由于h2的连接复用，只有一个工作进程占用CPU。
- 尝试实现prefork worker，但由于h2的特性未能成功。
- 发现gRPC只允许使用ThreadPoolExecutor，尝试使用ProcessPoolExecutor失败。
- 最终通过创建gRPC服务器并结合ProcessPoolExecutor和asyncio实现了异步处理。
➡️
