Wincer's Blog
·
Python 并发之痛：线程，协程？
💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
本文讨论了在Python中使用asyncio进行并发查询的挑战。由于API查询速度慢，作者尝试将多个子查询并发执行，但在生产环境中遇到Gunicorn与asyncio的冲突，导致错误。经过代码和线程管理的调整，问题得以解决。作者反思了Python的并发模型及其历史包袱，希望未来能有更简化的解决方案。
🎯
关键要点
- 部门产品的图相关部分的 API 查询速度慢，导致需要将多个子查询并发执行。
- 使用 asyncio 实现并发查询，但在生产环境中遇到 Gunicorn 与 asyncio 的冲突，导致错误。
- 错误信息为 'RuntimeError: This event loop is already running'，与异步相关的问题。
- 确认问题是由于 Gunicorn 的 worker 与 asyncio 的事件循环冲突。
- 解决方案包括使用线程安全的方法替换原有的调用，并在单独的线程中运行事件循环。
- 作者反思 Python 的并发模型及其历史包袱，希望未来能有更简化的解决方案。
❓
延伸问答
在Python中使用asyncio进行并发查询时遇到了什么问题？
在生产环境中，Gunicorn与asyncio的事件循环发生冲突，导致出现'RuntimeError: This event loop is already running'的错误。
如何解决Gunicorn与asyncio的冲突问题？
可以使用线程安全的方法替换原有调用，并在单独的线程中运行事件循环，以避免冲突。
为什么选择使用asyncio进行并发查询？
因为API查询速度慢，使用asyncio可以将多个子查询从顺序执行改为并发执行，从而提高查询效率。
Python的并发模型存在哪些历史包袱？
Python的并发模型存在多种实现方式，如线程、进程、greenlet和asyncio，导致使用上较为割裂。
在使用asyncio时，为什么会出现非线程安全的操作错误？
因为event loop可能在其他线程调用，导致当前线程操作了由另一个线程创建的event loop。
作者对Python未来的并发解决方案有什么期望？
作者希望未来能有更简化的并发解决方案，避免历史包袱带来的复杂性。
➡️
