实现在线Parquet Shredder

实现在线Parquet Shredder

💡 原文英文,约4000词,阅读约需15分钟。
📝

内容提要

MongoDB发布了一种改进的BSON-to-Parquet writer,用于Atlas Data Federation(ADF),将数据从BSON格式转换为固定模式、列式Parquet格式。新方法引入了一种在线Shredder算法,可以在单个传递中将文档流剪切成列式格式,并同时构建模式。新方法使用了apache-go Parquet writer,并提高了Parquet writer的CPU和内存使用效率。在线Shredder算法使MongoDB能够将文档流剪切成列式格式,并同时构建模式。

🏷️

标签

➡️

继续阅读