用 Python 试玩十亿行挑战
内容提要
最近使用Python优化了处理十亿行文件的挑战，将处理时间从8分钟优化到30秒。优化主要集中在文件读取和数据处理上，通过改变读取方式和使用多进程并行处理来提高效率。最终结果写入文件。
延伸解读
文件读取优化的关键点
文章通过实验发现，按行读取十亿行文件耗时近一分钟，而改为按固定大小数据块读取后，时间大幅下降。作者测试了从1KB到1GB的多种块大小，最终选择1048576字节（1MB）作为最佳值。此外，将文件以二进制模式打开，避免了字节到字符串的解码开销，使读取时间进一步降至2.88秒。这些调整说明，对于大文件IO，合理设置块大小和二进制模式能显著提升效率。
多进程与GIL的权衡
由于Python的全局解释器锁（GIL），多线程在CPU密集型任务中无法有效利用多核。文章选择多进程并行处理数据块，充分利用了机器的12个核心。通过ProcessPoolExecutor将处理函数映射到文件块生成器上，再合并结果。最终用户态CPU时间达到301秒，而实际耗时仅33.5秒，说明多核并行确实大幅缩短了墙钟时间。这提醒我们，在Python中处理CPU密集型任务时，多进程通常是更合适的选择。
数据处理中的微优化
在聚合每个观测站温度时，原始代码无论比较结果如何都会对min_temp和max_temp进行赋值。作者改为条件赋值，仅当新温度更小或更大时才更新，避免了不必要的写操作。这种微优化在十亿行数据量下累积效果明显。虽然单次操作节省有限，但在高频循环中能减少CPU指令数，配合多进程进一步提升了整体性能。
Q&A
如何使用Python处理十亿行的文件？
可以通过优化文件读取和数据处理逻辑来提高效率，使用多进程并行处理来充分利用多核CPU。
优化文件读取的最佳方法是什么？
最佳方法是一次读取多个字节的数据，并以二进制模式打开文件，减少解码开销。
多进程处理数据有什么优势？
多进程可以同时利用多个CPU核心，提高处理效率，避免单线程的性能瓶颈。
如何减少Python程序的处理时间？
通过优化数据处理逻辑，避免不必要的赋值操作，以及使用多进程来并行处理数据块。
十亿行挑战的输出结果是什么？
输出结果为每个观测站的最低、平均和最高温度，按观测站名称排序。
在处理大文件时，如何选择合适的数据块大小？
可以通过测试不同的块大小，选择读取时间最短的块大小，最终选择1048576字节作为数据块大小。
