plus studio ·

基于Venn-Abers预测器的系统日志异常检测方法_顾兆军

💡 原文中文，约1000字，阅读约需3分钟。

📝

内容提要

基于Venn-Abers预测器的系统日志异常检测方法，通过收集、解析和特征化日志信息，生成事件计数矩阵用于推理。使用TF-IDF作为特征表示，进行二分类问题推理并得到分类概率。通过优化运行效率和处理重复得分，评估算法的有效性。评估指标为f1。

🔎

文章将非结构化的日志条目按事件模板聚合为事件计数矩阵，每行对应一个块（block），每列代表一种事件类型，单元格值记录事件发生次数。这种表示方式将分散的日志合并为结构化矩阵，便于后续模型推理。读者需注意，矩阵的构建依赖于日志解析的准确性，若模板提取有误，可能影响异常检测效果。

该方法将日志异常检测视为二分类问题，利用成对相邻违反者算法得到保序回归函数，分别对测试对象在标签0和1下的评分进行校准，输出两个概率值p0和p1。这种校准机制旨在使预测概率更可靠，但文章未讨论校准后的概率是否直接用于最终决策，读者应关注其实际应用方式。

实验发现，由于HDFS日志行为单一，不同特征向量高度相似或重复，导致保序回归序列分布过于密集。文章提出对重复得分对应的标签进行累积求和并取平均，作为该得分的新标签。这一处理可缓解序列密集问题，但可能损失部分标签信息，读者需权衡效率与精度。

算法有效性评估使用平方损失，并以f1作为评估指标。f1综合了精确率和召回率，适合类别不平衡的异常检测场景。然而，文章未报告具体实验数据或对比基线，读者难以判断该方法相对其他日志异常检测技术的实际优势，需结合完整论文进一步验证。

❓

该方法首先收集日志信息，进行日志解析和特征化提取，生成事件计数矩阵；然后使用TF-IDF作为特征表示，进行二分类问题推理并获取分类概率；接着通过成对相邻违反者算法得到保序回归函数，输出分类概率；最后优化运行效率并评估算法有效性。

事件计数矩阵中，每一行代表一个块（block），具有相同block_id的事件模板放在同一行；每一列代表一种事件类型；单元格X_{i,j}的值记录事件j在块i上发生的次数。

TF-IDF是信息检索中一种公认的启发式方法，通常用作信息检索和文本挖掘中文档的特征表示，因此该方法采用TF-IDF对日志事件计数矩阵进行特征表示。

通过成对相邻违反者算法得到保序回归函数f0和f1，分别用于测试对象x_n在标签0和1下的评分函数s0和s1，模型输出(p0, p1)，其中p0=f0(s0(x))，p1=f1(s1(x))。

实验中发现由训练集标签和训练集对象得到的保序回归序列分布过于密集，不符合预期，原因是HDFS记录的日志行为单一，使不同特征向量之间差异较小，特征向量高度相似或重复。对于重复的得分，将其标签y_i累积求和并取平均值作为该得分新的标签。

算法有效性评估使用平方损失，评估指标是f1。