Databricks
·
网络安全数据湖系列第二部分：处理数据摄取延迟
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
本文介绍了如何发现和处理日志摄取管道中的延迟，提供了一些监控和报告数据摄取滞后的技术和最佳实践，如生成元数据字段、创建可视化图表和筛选记录等。文章还提供了一些技巧和最佳实践，如将事件分成时间窗口并计算滚动平均延迟，存储每个日志源的“缺失”属性等。
🎯
关键要点
-
日志数据摄取的及时性、准确性和可搜索性对安全运营至关重要。
-
数据摄取延迟可能由传统基础设施问题或现代数据堆栈的多跳摄取路径引起。
-
传统基础设施中的延迟可能由网络故障、资源短缺等因素造成。
-
现代云堆栈中的延迟可能由SaaS提供商的日志导出失败、云存储写入失败等因素造成。
-
建议在摄取时生成两个元数据字段：_event_time和_ingest_time，以监控日志数据的延迟。
-
可以通过计算每条记录的延迟时间并创建可视化图表来监控摄取延迟。
-
应为每个日志源设置预期阈值，并报告超出阈值的日志源。
-
监控日志源的预期频率，识别未按预期频率记录的源。
-
建议将事件分成时间窗口并计算滚动平均延迟，以提供正常延迟。
-
及时监控数据摄取延迟对安全和合规功能至关重要，必须迅速解决相关问题。
🏷️
