利用StackStorm实现故障智能诊断

携程旅行网是国内领先的在线旅游服务公司，也是国内规模较大的互联网公司之一。随着近年来业务的迅猛增长，支撑网站的技术和系统的复杂性和规模也随之呈跳跃性的攀升。要迎接网站规模和复杂性提升带来的各种挑战，运维部门首当其冲。运用新技术，新思维来应对各种出现的新问题是运维技术人员天天都要面对的工作。本文中将介绍我们如何应对新场景下的排障工作。

问题描述

当运维自动化程度提高后，对于自动化服务的请求数量不断增长，业务规则和流程的复杂性日益加大。用户对自动化服务越来越依赖，因此对服务标准的要求也在提高，尤其表现在对服务可靠性的高要求。而另一方面，开发周期短，外部依赖多，不可控因素多等原因又使得工具和系统的缺陷在所难免。因此，在出现故障后能够快速定位问题，快速解决问题，把对用户的影响降到最低，就成了一个直接关系到产品成败的非功能性需求。

以携程运维工作流平台（携程运维工作流平台是一个运行携程核心运维流程，如服务器，网络，应用等上线/下线/变更等工作流的系统平台）为例，一台服务器的上线流程从提交请求到服务器交付需要控制在半小时之内，而流程由近十个环节，和近十个工具或系统交互，任何一个环节出现微小故障或者不稳定都可能造成流程中断。因此，需要我们能尽早发现每个环节的问题，修复问题。

传统策略和它的问题

传统方式下，我们使用黑盒策略，只监控流程的外在表现。监控流程中的每个步骤，给流程的每个步骤设置SLA，一旦SLA超时，就发邮件提醒相关人员及流程组。告警邮件发出后，运维人员需要接收到告警，登录系统，分析告警，定位诊断，修复故障。

上述策略存在明显的问题：

1) 时间延误：运维人员不能及时响应告警，造成响应及处理时间不可控

2) 人力成本：人工调查故障需要消耗大量的人力成本，而且经验积累过程缓慢（因为同一个处理人员处理同一个问题的间隔时间可能比较长，不能快速利用上次的排障经验）

3) 有价值的历史数据没有保存，无法统计告警现状及解决方案。如果有保存和分类的历史数据，我们可以了解系统的主要故障区域有哪些，以便进行针对性的改良设计。

4) 引入人为错误：人工处理过程还有可能引入人为错误

解决思路

为了全面掌握当前系统中故障的分布情况，我们先进行了第一步工作：建立一个排障系统对故障进行自动记录和分类。我们在流程平台中的关键环节进行埋点，将最能反映故障和异常的特征参数随着故障警告一起输送出来，在系统中根据这些特征参数对故障和人工分析的结果进行分类。

经过一段时间的人工处理，统计出如下报表：

从报表中，我们可以看到几个结果：

有很大一部分是无需干预的。

告警数量虽然很多，但是类别却不多，大量告警可以被诊断为同一问题，使用同样的修复方式。

绝大部分的故障可以通过告警中带有的特征参数进行自动分类或者利用简单的逻辑进行自动分类 – 自动诊断问题是可行的。

根据告警落地后的分析报告，很清楚地可以看到自动诊断流程是可行的，并且可以节省大量人力成本，并且大幅缩短排障时间和消除人为错误。

故障自动诊断方案

既然所有的问题的答案最终都指向自动诊断，那么我们来看下自动诊断需要包含哪些功能才能解决我们的问题。

故障自动诊断流程需要做到如下几点：

告警发出时立即响应

识别误报或可自行修复的告警

自动处理误报及无需干预的告警

对于复杂情况的告警进行预先诊断并返回结果

有了以上目标，接下来我们需要选择合适的工具实现自动诊断流程。

StackStorm介绍

StackStorm （以下简称ST2）是时下非常流行的一个自动化引擎，擅长处理自动化流程，支持各种服务及工具的自动化与集成。可以轻松的实现故障诊断和自动修复。因此利用ST2来实现故障自动诊断和修复应该是非常不错的选择。

那么，ST2到底是什么，能做什么，为什么可以应用到故障智能诊断中。下面做简单介绍。

ST2是什么

官方定义：

StackStorm is a platform for integration and automationacross services and tools. It ties together your existing infrastructure andapplication environment so you can more easily automate that environment. Ithas a particular focus on taking actions in response to events.

简单来说：StackStorm是一个事件驱动的自动化引擎。

ST2优势

携程之前使用最多的工作流平台是BMC的产品Remedy。Remedy同样是一个使用范围广泛的自动化工作流引擎。和Remedy这种比较庞大的工作流平台相比，ST2有以下优势：

• 开源，StackStorm Exchange提供了各种各样的Pack，只要进行简单的Pack安装后就可以使用。