极道
·
Python中优化代码性能的最佳实践
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
Python应用程序性能的首选策略是使用记忆化、异步或线程、替换嵌套循环、使用reduce、使用BytesIO、使用__slots__、使用多处理、使用生成器表达式、使用PyPy。进行分析的好方法是使用scalene、py-spy、PyCharm内置剖析器。优化循环内发生的事情，使用行分析器找出占用大部分时间的内容，简单矢量化函数可以提升速度。解决API调用问题可以在数据库级别进行计算/聚合，添加缓存减少时间。找到真正的瓶颈，避免N+1问题和过多的数据库调用。多线程/异步和多处理对性能有帮助。对于实时服务，考虑延迟和每秒请求数。
🎯
关键要点
-
使用 functools.cache 或 functools.lru_cache 进行记忆化，适用于递归函数和纯函数。
-
如果程序因同步而缓慢，考虑使用异步或线程。
-
使用 itertools 替换嵌套循环，使用 functools.reduce 进行累积转换。
-
使用 BytesIO 减少内存使用，使用 __slots__ 来优化内存。
-
多处理适用于不相互依赖的任务，且可以通过更多核心加速。
-
使用生成器表达式节省内存，必要时使用 PyPy 替代 CPython。
-
优化循环内的代码，循环外的优化不值得。
-
使用 scalene 和 py-spy 进行性能分析，PyCharm 提供内置剖析器。
-
通过简单的矢量化可以显著提升性能。
-
在数据库级别进行计算/聚合以减少 API 调用时间，添加缓存进一步优化。
-
找到真正的性能瓶颈，避免 N+1 问题和过多的数据库调用。
-
多线程/异步和多处理对性能有帮助，但多处理对 CPU 密集型任务效果最佳。
-
设计实时服务时需考虑延迟和每秒请求数，Python 在某些情况下性能较差。
➡️
