告警的艺术,结束“狼来了”的困境

《狼来了》的故事家喻户晓,频繁发送错误信息就会失去人们的信任,“重点论”也曾提到:重点太多,就无所谓重点

基于某种特征值设置告警条件,我们已经司空见惯。例如:关注某App的成功率,就设置“成功率低于98%即发出告警”,每分钟5000笔的业务高峰期失败10笔都不会触发告警。但在业务低峰期,在总共5笔的交易中失败1笔,即可让“成功率低于90%发出告警”。

在类似情况下,单一条件的告警会让运维人员盲顾不暇,甚至无法抉择,日积月累就像“狼来了”一样,让真正的问题告警埋没其中。

作为IT运维中不可或缺的一环,告警的准确性直接决定其他功能是否能够及时生效,起到画龙点睛的作用。如何帮助运维人员更加精准的发现问题,做到正确和高效,不仅仅是一门科学,更是一门艺术。

新运维环境的需求

现有的运维环境对告警规则的制定、配置工作的流程都提出了更高的需求:

能尽可能贴近真实情况

能适应各种场景

能简单配置,自适应性强

EZSonar 复合告警快速发现故障

适应复杂的运维场景

华青融天的AIOps产品EZSonar是新一代业务动态可视化运维产品,具备主动性、灵活性、智能性的能力,通过机器学习的方式实现异常检测、故障分析、故障关联和精准告警。

01

复合告警

运维人员可以同时设置在每分钟交易量大于1000笔/s、响应时间大于100ms、成功率小于95%时产生告警,这样告警设置更加灵活,符合实际需求,避免误报,同时可以让其在工作时间段内生效。

02

动态基线

EZSonar的复合告警就是为应对实际业务中复杂多变的环境而生的,它为业务设置动态基线,允许把多种告警和指标进行复合,同时满足多条规则时才会触发告警,摆脱无法设置静态告警的困境。

03

复合关联告警

高可用水平扩展架构已成为业界标配,一个App由3台服务器集群组成,前端用基于连接或应用层信息的数据包做负载均衡分发。

那么,拿单一或多个不关联的指标该如何衡量数据进出负载均衡指标的变化?负载均衡造成的交易丢失或延迟又该如何告警?

华青融天凭借丰富的客户经验,为使用者提供检测进出设备指标变化的方式,同时EZSonar可以:

关联节点前后两组会话,定义进出负载均衡的响应时间差

允许设置多条线路会话,按比例分配或汇总计算的方式进行精准告警,以此评估负载均衡设备是否产生偏差

EZSonar 简单的配置方法

给精准告警带来可行性

根据业务的特点,总有一部分系统运行无法准确找到其规律或特征。EZSonar通过机器学习发现业务的规律进而自动生成告警规则,有效的帮助运维人员从运维数据中了解系统的运行状态,分析定位故障,实时获取统计数据。

告警规则越细,其反映业务真实问题的准确度就越高,同时颗粒度越细意味着工作量越大。

例如对于一款拥有1000种交易参数的App,传统规则只能挑少数的几种到几十种情况进行告警。如果该App有上千个业务节点该怎么办?如果它的参数数量实时变化又该如何? 

对此,EZSonar告警设置只需制定一条规则便可自动适应参数的无穷变化,无需任何人工干预。通过简化的配置方法给精准告警带来了可行性,更重要的是,它的全覆盖告警可以发现出现概率小但重要性很高的事件。

在IT系统和信息架构规模不断扩大的今天,人工分析定位的运维方式已很难适应快速增长的业务需求。而通过采集当前环境中的运维数据,EZSonar利用复合告警分析,对IT系统中各个环节的问题进行快速定位、故障排除和预测,为业务稳定、高效运行保驾护航。

华青融天EZSonar为精细化告警赋予了全新定义,高效捕捉“那匹真正的狼”。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,755评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,305评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,138评论 0 355
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,791评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,794评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,631评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,362评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,264评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,724评论 1 315
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,900评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,040评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,742评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,364评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,944评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,060评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,247评论 3 371
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,979评论 2 355

推荐阅读更多精彩内容