Databricks
·
革新汽车测量数据存储与分析：梅赛德斯-奔驰在Databricks智能平台上的PB级解决方案
💡
原文英文，约3700词，阅读约需14分钟。
📝
内容提要
本文介绍了一种层次语义数据模型，旨在高效存储和分析连接车辆的时间序列数据。该模型通过多级过滤显著提升分析性能，尤其在自动变道系统的准备状态检测中，能够快速识别相关会话和信号，减少处理时间。基准测试表明，结合运行长度编码（RLE）和液体聚类的方案在查询速度上表现最佳，尽管存储需求增加，但查询速度显著提升。
🎯
关键要点
- 本文介绍了一种层次语义数据模型，用于高效存储和分析连接车辆的时间序列数据。
- 该模型通过多级过滤提升分析性能，特别是在自动变道系统的准备状态检测中，快速识别相关会话和信号。
- 基准测试显示，结合运行长度编码（RLE）和液体聚类的方案在查询速度上表现最佳，尽管存储需求增加。
- 与梅赛德斯-奔驰合作，基于ASAM标准增强数据模型，推动汽车开发和分析性能。
- 现代车辆生成大量时间序列数据，挑战在于如何利用这些数据进行预测分析。
- 层次语义数据模型能够在单个表中表示数万个信号的时间序列数据，提供高效过滤和可扩展性。
- 核心数据模型由五个表组成，样本表使用运行长度编码（RLE）存储时间序列数据。
- 梅赛德斯-奔驰利用该数据模型支持车辆开发，通过多级过滤提高数据分析性能。
- 基准测试评估了不同数据布局和优化策略，液体聚类在查询性能上优于其他方法。
- 基准结果显示，RLE与液体聚类的结合在运行时间和查询速度上表现最佳。
- 未来将发布如何将MDF文件转换为新数据模型的解决方案，并介绍数据集治理和数据发现的框架。
➡️
