从Blob storage中导入大量json文件到ADX进行数据分析
原文中文,约500字,阅读约需2分钟。发表于: 。在对一个产品的商业行为和表现进行分析时,我们经常需要用到很多日志作为数据源。目前很多系统通用的做法是每天会写一个日志文件,并且保存在Azure Blob Storage中,这样成本很低,同时也支持任何语言直接存取,包括后续加工利用。本例中,我们需要对一共Blob container下面超过10万个日志文件进行分析,他们都是json格式的文件,格式相同,但每个文件中的数据会有多又少。我们希望ADX来...
通常使用Azure Blob Storage存储日志文件,利用ADX进行强大的分析。通过独立工具实现数据导入,无需编写代码。处理10万+个日志文件非常顺利,结果满意。赠送数据处理技巧:使用mv-expand操作符和bag_unpack插件展平json数据中的数组。