基于Venn-Abers预测器的系统日志异常检测方法_顾兆军
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
基于Venn-Abers预测器的系统日志异常检测方法，通过收集、解析和特征化日志信息，生成事件计数矩阵用于推理。使用TF-IDF作为特征表示，进行二分类问题推理并得到分类概率。通过优化运行效率和处理重复得分，评估算法的有效性。评估指标为f1。
🎯
关键要点
- 基于Venn-Abers预测器的系统日志异常检测方法通过收集、解析和特征化日志信息生成事件计数矩阵。
- 每条日志包含时间戳、日志优先级、系统组件和日志条目等非结构化数据，解析后生成事件计数矩阵。
- 事件计数矩阵中相同块的事件模板放在一行，每列代表一种事件类型，记录事件发生次数。
- 使用TF-IDF作为特征表示，进行二分类问题推理并获取分类概率。
- 成对相邻违反者算法得到保序回归函数用于测试对象，模型输出分类概率。
- 优化运行效率，处理训练集标签和对象的保序回归序列分布过于密集的问题。
- 对重复得分进行标签累积求和并取平均值作为新的标签。
- 算法有效性评估使用平方损失，评估指标为f1。
➡️
