从Blob storage中导入大量json文件到ADX进行数据分析

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

通常使用Azure Blob Storage存储日志文件,利用ADX进行强大的分析。通过独立工具实现数据导入,无需编写代码。处理10万+个日志文件非常顺利,结果满意。赠送数据处理技巧:使用mv-expand操作符和bag_unpack插件展平json数据中的数组。

🎯

关键要点

  • 使用Azure Blob Storage存储日志文件,成本低,支持多种语言存取。
  • 分析超过10万个json格式的日志文件,数据格式相同但内容不同。
  • 利用ADX进行强大的数据分析,使用独立工具实现数据导入,无需编写代码。
  • 处理106361个文件的过程顺利,结果令人满意。
  • 数据处理技巧:使用mv-expand操作符和bag_unpack插件展平json数据中的数组。
➡️

继续阅读