如何在Python中使用ijson处理大型JSON文件
内容提要
文章对比了Python处理大JSON文件的两种方式：标准json.load()一次性解析全部数据，181MB文件峰值内存达808.9MiB；ijson流式解析按“features.item”逐条读取、处理并丢弃，峰值仅46.1MiB，节省约762.8MiB。两者结果一致，耗时相近。结论：若只需逐条处理记录、无需整体加载，应使用流式解析以控制内存。
延伸解读
内存占用为何远超文件大小
文章指出，181MB的JSON文件用json.load()解析后峰值内存达808.9MiB，这是因为磁盘上的JSON文本被转换为Python对象后，每个字典、列表、字符串和数字都有额外开销。例如一个简单的键值对会变成字典、字符串键和字符串值等多个对象，嵌套的几何坐标数组更是如此。因此文件大小不能等同于内存占用，评估内存需求时需考虑解析后的对象结构。
流式解析的适用条件
ijson的流式解析适合只需逐条处理记录、无需整体加载的场景。文章示例中，任务只统计特定街道的地块数量并保存前五个ID，因此可以边读边处理边丢弃。但如果后续操作需要随机访问所有记录、多次遍历或依赖完整数据结构，流式解析就不适用。选择方法前应先明确任务是否需要全量数据在内存中。
性能权衡：内存与速度
文章实测两种方法耗时相近：json.load()约4.01秒，ijson约4.58秒。作者强调ijson的主要优势是内存占用更稳定，而非速度更快；在内存充足时json.load()可能解析得很快。因此不应将ijson视为性能优化手段，而应视为内存控制手段。若内存不是瓶颈，标准库的简洁性仍有价值。
实施流式解析的注意点
使用ijson时需以二进制模式打开文件，并正确指定解析路径，如“features.item”表示进入features数组逐项读取。文章中的内存分析显示，ijson峰值仅46.1MiB，但解析器本身仍有缓冲区开销。实际应用中应确保路径与JSON结构匹配，并注意流式处理无法回退，适合一次性顺序处理的任务。
Q&A
Python处理大JSON文件时，json.load()为什么会占用大量内存？
json.load()会一次性解析整个JSON文档，并在内存中创建所有对应的Python对象（如字典、列表、字符串和数字）。即使你只需要其中少量字段，它也会加载全部数据，包括嵌套的几何坐标等，导致内存占用远大于文件本身大小。
ijson.items()中的'features.item'参数是什么意思？
'features.item'是ijson的路径前缀，表示进入JSON的features数组，并逐个返回数组中的每个元素。这样ijson不会一次性加载整个数组，而是流式地产生每个item，供你逐条处理。
使用ijson流式解析和json.load()在内存消耗上具体差多少？
在181MB的测试文件上，json.load()的峰值内存为808.9 MiB，而ijson.items()的峰值内存仅为46.1 MiB，节省了约762.8 MiB的内存。两者处理结果一致，耗时相近（4.01秒 vs 4.58秒）。
ijson处理JSON时是如何做到低内存的？
ijson采用流式解析模型：读取一条记录→处理→丢弃，而不是先加载全部数据。它只保留当前记录、解析器缓冲区、少量计数器和必要的结果，因此内存占用不随文件大小增长。
ijson比json.load()更快吗？
不一定。ijson的主要优势是内存占用更稳定，而不是速度。如果内存充足，json.load()有时解析速度也很快。ijson的价值在于内存消耗不随完整JSON文档的大小而增长。
什么时候应该使用ijson而不是标准json模块？
当你的任务只需要逐条处理记录，而不需要一次性加载整个JSON文档时，应该使用ijson。例如处理大型GeoJSON文件时，只需遍历features数组中的每个元素，ijson可以显著降低内存占用。
