外部归并问题 - Gopher的完整指南

外部排序问题是计算机科学中的一个重要主题，通常用于教学。

在黑客马拉松中，处理包含IPv4地址的大文件的任务激发了作者的灵感。

处理的文件大小可达数十或数百GB，目标是尽可能少地使用内存和时间计算唯一地址的数量。

提出了一种使用位图的方法来快速检测唯一性，但内存消耗巨大。

采用分块、内部归并排序和去重的方式来提高处理效率。

通过并行化处理多个块，可以有效利用多核CPU和减少I/O瓶颈。

在处理过程中，采用两阶段去重，避免冗余操作，提高计算效率。

使用Brotli算法进行压缩，但在快速SSD上未能提高性能，最终决定不使用压缩。

将文本IP地址转换为数字哈希后，所有后续操作都可以在二进制格式中进行。

使用二进制格式可以提高存储效率和处理速度，但在某些情况下可能会变慢。

通过缓冲I/O和优化的二进制处理，成功在14分钟内处理了一个110GB的文件，展示了高效的去重和排序能力。