Databricks
·
Arctic Wolf 的液态聚类架构调优至 PB 级规模
内容提要
Arctic Wolf 每天处理超过一万亿事件，重构数据架构后，查询速度提升至秒级，数据新鲜度从小时降至分钟，支持实时威胁检测与响应，显著降低查询时间和成本。
关键要点
-
Arctic Wolf 每天处理超过一万亿事件，提取出数十亿个安全相关的见解。
-
数据架构重构后，查询速度提升至秒级，数据新鲜度从小时降至分钟。
-
实时威胁检测和响应能力显著提高，支持快速查询。
-
历史数据分析对现代威胁狩猎至关重要，能够在几小时内遏制攻击。
-
重构数据架构后，文件数量从400万减少到200万，查询时间减少约50%。
-
新架构采用液态聚类和统一目录管理表，提供一致的性能和近实时的洞察。
-
旧数据表因小文件数量过多，导致查询性能差，且只能查询过去24小时的数据。
-
为解决性能问题，重新设计数据布局以支持晚到数据，优化查询性能。
-
新架构采用金银铜层次结构，使用Kafka进行数据流处理，支持严格的延迟服务水平协议。
-
液态聚类取代了刚性分区方案，使数据分布更均匀，平均文件大小超过1GB，减少了查询时扫描的文件数量。
延伸解读
实时威胁检测的重要性
Arctic Wolf 的新架构显著提升了实时威胁检测能力，数据新鲜度从小时降至分钟。这意味着安全团队能够更快地响应潜在威胁，减少攻击造成的损失。实时分析历史数据对于理解攻击模式至关重要，能够在几小时内遏制攻击，避免数百万的损失。
架构重构的技术优势
通过液态聚类和统一目录管理表，Arctic Wolf 实现了更高效的数据管理。新架构减少了文件数量，查询时间缩短约50%。这种优化不仅提升了查询速度，还降低了数据处理成本，适应了多租户环境下的数据偏斜问题，确保了不同客户的查询性能一致性。
应对数据延迟的策略
新架构特别考虑了晚到数据的问题，优化了数据布局以支持这些数据的有效查询。这种设计使得即使在数据传输延迟的情况下，系统仍能保持高效的查询性能，避免因数据滞后而导致的安全盲点。
延伸问答
Arctic Wolf 如何处理每天超过一万亿的事件？
Arctic Wolf 通过重构数据架构和采用液态聚类技术，提取出数十亿个安全相关的见解，支持实时威胁检测与响应。
重构后的数据架构对查询速度有什么影响？
重构后的数据架构使查询速度提升至秒级，查询时间减少约50%。
Arctic Wolf 如何提高数据的新鲜度？
通过重构数据架构，数据的新鲜度从小时降至分钟，支持几乎实时的安全遥测访问。
液态聚类在 Arctic Wolf 的新架构中起什么作用？
液态聚类取代了刚性分区方案，使数据分布更均匀，减少了查询时扫描的文件数量，提高了查询性能。
Arctic Wolf 如何应对历史数据分析的挑战？
Arctic Wolf 通过重新设计数据布局，支持晚到数据的处理，确保能够快速分析历史数据以遏制攻击。
新架构如何支持实时威胁检测？
新架构通过加速数据访问和优化查询性能，使得实时威胁检测和响应能力显著提高。
