分享是一种生活态度,求知,求真,分享工作,分享生活!

基于机器学习的时间序列异常检测“智障机器人”

基于机器学习的时间序列异常检测“智障机器人”
简介随着公司发展,网络设备面临数量增多、设备老化、结构复杂等,告警数量也随之越来越多,为了达到“喝着咖啡做运维”的最高境界,对告警质量的要求也更高。公司网管系统之前做的出口流量、CPU、内存等时间序列的告警场景,算法都过于简单,导致经常出现误报的情况,有时候在值班过程中遇到告警多,误报实在是一种干扰,比如cpu抖动、小流量波动、周期性波动等等,系统都会傻乎……继续阅读 »

NumPy 进行科学计算总结

NumPy 进行科学计算总结
Python 科学计算库 NumPy,其中大部分模块采用 C 语言编写,并针对科学计算(线性代数计算)设计了 ndarray(多维数组)对象,该对象类似于 Python 中的 list 对象,但却更少在应用中使用性能较差的循环。以上这些使得 NumPy 的性能比纯 Python 要高。本文采用的系统环境是 CentOS 7.0 x64,Python 2.7……继续阅读 »

sklearn特征工程

sklearn特征工程
1 特征工程是什么?有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:特征处理是特征工程的核心部分,sklearn提供了较为完整的特征处理方法,包括数据……继续阅读 »

腾讯NOC排位小助手

腾讯NOC排位小助手
最近NOC运营中心为了提升同事们devops的积极性,组织了一些有趣的小比赛。因为今年就要从腾讯大厦搬到滨海大厦,打算每隔几个月就排一次位置,增加大家新鲜感和人脉拓展,所以出了一个题目,编写一个随机排位程序,要求团队人员需要紧密沟通,团队之间也需要尽量沟通方便。而且还有奖品500元,虽然钱不多,但重在参与。于是利用空闲时间,写了一个小程序,考虑到必须界面……继续阅读 »

机器学习用Python描述性统计

机器学习用Python描述性统计
1 描述性统计是什么?描述性统计是借助图表或者总结性的数值来描述数据的统计手段。数据挖掘工作的数据分析阶段,我们可借助描述性统计来描绘或总结数据的基本情况,一来可以梳理自己的思维,二来可以更好地向他人展示数据分析结果。数值分析的过程中,我们往往要计算出数据的统计特征,用来做科学计算的NumPy和SciPy工具可以满足我们的需求。Matpotlob工具可用……继续阅读 »

netdevops挑战赛获奖经验分享

netdevops挑战赛获奖经验分享
最近几年,中心devops发展的相当快,各种运维自动化系统非常完善,比如可以快速一键隔离网络故障的“战斧”系统,专门针对网工的可视化脚本“鲁班”系统等等。借用总监的一句话来说,“腾讯是国内网络自动化程度最高的公司…”。中心比较重视员工devops的能力培养,经常举办一些编程沙龙、培训等。同事平时也都经常编写一些网络脚本,大大提高了网……继续阅读 »

NetDevOps之黑鹰网络巡检分析系统

NetDevOps之黑鹰网络巡检分析系统
因为公司网络运维需要,花了大概3周的时间,写了一个网络巡检系统,起了一个高端大气上凳次的名字,叫做黑鹰巡检分析系统。 听着貌似挺NB吧,可开发的过程真是一把鼻涕一把泪啊,为了赶进度,晚上写到11多,跟上公司的最后一班班车,周末还在加班。最终效果还可以 。系统包含“网络巡检”、“数据分析”、“实时告警”三大主要功能。系统设计为框架式结构,通过导入巡检模板,……继续阅读 »

syslog监控工具演示

syslog监控工具演示
网络设备监控在很多公司都是很重视的,当网管出现故障可以及时的通知管理员处理,这个需求是一个朋友提出的,而且还是他们公司一直有需求的。软件功能场景很简单,实时监视syslog服务器日志文件,如果出现告警或者匹配到特定关键字,发邮件通知管理员。软件花了半天时间,用C#写了核心功能,界面是cli的,可以满足需求,等实际用的时候再定制。后期还可以添加微信提醒等。……继续阅读 »

使用kali进行DHCP Server压力测试

使用kali进行DHCP Server压力测试
最近,有一哥儿给我提了一个这样的需求,能否写个程序实现:不停向dhcp服务器发送ip请求,获取到ip之后再释放。我想估计是想测试一下dhcp服务器的稳定性和可靠性,因为有些大公司为了保证业务,会做大量的压力测试,只有满足需求后才会上线。当时首先想到编程调用系统的api,模拟发送dhcp discover、request报文,获取到ip后,再发送dhcp r……继续阅读 »

网络巡检分析工具

网络巡检分析工具
最近有同事找到我帮忙编写一个巡检分析工具,主要是腾讯那边设备太多,巡检之后需要把结果做个分析,比如是否有光衰问题、ospf邻居数量、lldp邻居数量、设备启动文件版本等。如果这些东西都人工来一个一个分析,那估计蛋都碎了,因为文件太多,大量重复繁琐的劳动太累,而且还容易出错,实在是无意义!于是抽空写了一个小工具,可以很快把需要检查的内容做个汇总,并做简单的分……继续阅读 »