分享是一种生活态度,求知,求真,分享工作,分享生活!

基于机器学习的时间序列异常检测“智障机器人”

基于机器学习的时间序列异常检测“智障机器人”
简介随着公司发展,网络设备面临数量增多、设备老化、结构复杂等,告警数量也随之越来越多,为了达到“喝着咖啡做运维”的最高境界,对告警质量的要求也更高。公司网管系统之前做的出口流量、CPU、内存等时间序列的告警场景,算法都过于简单,导致经常出现误报的情况,有时候在值班过程中遇到告警多,误报实在是一种干扰,比如cpu抖动、小流量波动、周期性波动等等,系统都会傻乎……继续阅读 »

NumPy 进行科学计算总结

NumPy 进行科学计算总结
Python 科学计算库 NumPy,其中大部分模块采用 C 语言编写,并针对科学计算(线性代数计算)设计了 ndarray(多维数组)对象,该对象类似于 Python 中的 list 对象,但却更少在应用中使用性能较差的循环。以上这些使得 NumPy 的性能比纯 Python 要高。本文采用的系统环境是 CentOS 7.0 x64,Python 2.7……继续阅读 »

sklearn特征工程

sklearn特征工程
1 特征工程是什么?有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:特征处理是特征工程的核心部分,sklearn提供了较为完整的特征处理方法,包括数据……继续阅读 »

机器学习用Python描述性统计

机器学习用Python描述性统计
1 描述性统计是什么?描述性统计是借助图表或者总结性的数值来描述数据的统计手段。数据挖掘工作的数据分析阶段,我们可借助描述性统计来描绘或总结数据的基本情况,一来可以梳理自己的思维,二来可以更好地向他人展示数据分析结果。数值分析的过程中,我们往往要计算出数据的统计特征,用来做科学计算的NumPy和SciPy工具可以满足我们的需求。Matpotlob工具可用……继续阅读 »