原文英文,约4000词,阅读约需15分钟。
📝
内容提要
MongoDB发布了一种改进的BSON-to-Parquet writer,用于Atlas Data Federation(ADF),将数据从BSON格式转换为固定模式、列式Parquet格式。新方法引入了一种在线Shredder算法,可以在单个传递中将文档流剪切成列式格式,并同时构建模式。新方法使用了apache-go Parquet writer,并提高了Parquet writer的CPU和内存使用效率。在线Shredder算法使MongoDB能够将文档流剪切成列式格式,并同时构建模式。
🏷️