从Blob storage中导入大量json文件到ADX进行数据分析
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
通常使用Azure Blob Storage存储日志文件,利用ADX进行强大的分析。通过独立工具实现数据导入,无需编写代码。处理10万+个日志文件非常顺利,结果满意。赠送数据处理技巧:使用mv-expand操作符和bag_unpack插件展平json数据中的数组。
🎯
关键要点
- 使用Azure Blob Storage存储日志文件,成本低,支持多种语言存取。
- 分析超过10万个json格式的日志文件,数据格式相同但内容不同。
- 利用ADX进行强大的数据分析,使用独立工具实现数据导入,无需编写代码。
- 处理106361个文件的过程顺利,结果令人满意。
- 数据处理技巧:使用mv-expand操作符和bag_unpack插件展平json数据中的数组。
➡️