提高IT运维效率,深度解读京东云基于自然语言处理的运维日志异常检测AIOps落地实践...
原文中文,约4900字,阅读约需12分钟。发表于: 。一、前言日志在IT行业中被广泛使用,日志的异常检测对于识别系统的运行状态至关重要。解决这一问题的传统方法需要复杂的基于规则的有监督方法和大量的人工时间成本。我们提出了一种基于自然语言处理技术运维日志异常检测模型。为了提高日志模板向量的质量,我们改进特征提取,模型中使用了词性(PoS)和命名实体识别(NER)技术,减少了规则的参与,利用 NER 的权重向量对模板矢量进行了修改,分析日志模板中每个词的...
我们提出了一种基于自然语言处理技术的运维日志异常检测模型,使用PoS和NER技术,利用NER的权重向量对模板矢量进行修改,并利用DNN实现基于模板修正向量的最终检测,评估结果表明,具有更高的准确度。实验验证了该模型对日志异常检测的改进效果,采用了两个公共数据集和一套内部数据集,与业界最先进的模型比较,结果表明,我们的模型在F1得分和召回率方面表现最好,证明了模型的实用性和准确性。