当系统不再提供与其规范一致的服务时，故障就发生了，可用性就是指系统修复故障的能力，它关注的方面包括如何检测系统故障，系统故障发生的频度，出现故障发生什么情况，允许系统有多长时间非正常运行，什么时候可以安全地出现故障等。

衡量系统的可用性可以用公式 MTBF／(MTBF+MTTR)，其中MTBF为系统出错的时间间隔也就是平均正常工作时间，而MTTR表示系统修复错误用的时间。当然上面的公式计算出的结果越大表示系统的可用性越好。

故障和错误的区别是：如果不对错误采取解决措施，错误最终就会变成系统故障。

可用性的一般场景

• 源

  系统内部，系统外部：人，硬件，软件，物理架构，物理环境

• 刺激(触发事件)

  错误：疏忽，崩溃，时间，响应

• 制品

  系统的处理器，通信通道，持久存储器，进程

• 环境

  正常操作，启动，关闭，修复模式，降级操作，过载操作

• 响应

  • 在错误变成故障之前，检测出错误
    • 记录错误
    • 通知相关的人和系统
  • 从故障中进行修复
    • 禁止导致故障的事件源
    • 在一段预先制定的时间间隔内不可用，在这段时间内对系统进行检修
    • 对错误或者故障进行修复，或者就用鸵鸟策略让它处于故障不做处理当作故障没有发生
    • 进行降级操作

• 响应度量

  • 系统必须可用的时间间隔
  • 可用性(以百分比的形式)
  • 检测故障的时间
  • 修复故障的时间
  • 系统可以在降级模式下运行的时间
  • 系统不用当机就可以从错误中恢复的比例

可用性战术

• 就像上面说的，错误可能会导致故障的发生，而可用性战术将会阻止错误发展成为故障，至少能把错误的影响限制在一定范围内，从而使修复成为可能。

  错误->控制可用性的战术->所屏蔽的错误或所做的修复

  下面主要就是讨论的可用性战术就主要针对错误的检测，错误的恢复和错误的预防

• 错误的检测

  • Ping/echo

    通过系统监视器发出Ping请求来探测服务的通信路径是不是通的，某个组件是不是还在工作。

  • 监视(Monitor)

    通过使用一个监视器的组件来检测其他组件的健康状况。

  • 心跳(Heartbeat)

    通过组建定区发出一个心跳信息，来主动的告诉系统它正在工作。

  • 时间戳(Time stamp)

    这个策略是用来探测事件到达的顺序

  • 健康检测(sanity checking)

    检测组件的某一个操作或者输出的有效性

  • 条件监视(Condition monitoring)

    对特定条件进行检测，比如检验和。

  • 投票(Voting)

    使用冗余的组件做同一件事情，以相同的输入，如果产生不同的输出，则忽略少数，采纳多数的结果。

  • 异常检测(Exception detection)

    对保证系统正常运行的条件的检测

  • 自检(Self-test)

    对自身资源，依赖库和硬件的检测

• 从错误中恢复

  有的时候不一定从一开始就检测到有错误发生，那就需要在错误发生后有恢复机制，恢复机制包括以下两种形式。

  • 准备和修复策略(Preparation and repair tactics)

    • 在运行过程中同时处理所有备份和主模块(Active redundancy)

      虽然只是把主模块展示给客户，但备份的组件也在运行，和主模块保持同步

    • 定期对备份进行更新(Passive redundancy)

      主模块在运行的过程中，不要求备份的数据实时和主模块保持一致，而是定期对备份的数据进行更新

    • 冷处理(Spare)

      表示不会对备份进行更新，只是在主模块当掉的时候，启用备份，意味着从头开始，因为备份没有任何同步的数据

    • 异常处理

      当检测到有异常发生时，针对这个异常有一定的措施，不至于异常导致错误使整个系统都不能正常工作

    • 回滚(rollback)

      就是让系统回滚到之前好的版本运行

    • 软件升级(software upgrade)

      不停止服务的对软件进行升级，来满足对新特性和可用性的支持

    • 重试(Retry)

    • 忽略错误的行为(ignore faulty behavior)

    • 退化操作(degradation)

      只保持重要功能部分，这样保证出现的只是部分功能性问题，不会影响整个系统

    • 重新配置(Reconfiguration)

  • 在从错误中恢复后进行重启(Reintroduction)

    • shadow

      在正式加入系统前，先尝试运行，并对这段时间的运行过程进行监控和修正

    • 状态重新同步

      适用于前面讲的active redundancy 和 passive redundancy

    • 逐步重启(Escalation)

    • Non-stop-forwarding

      就是在不停止对外服务的情况下，对部分功能进行重启

• 错误的预防

  相比于检测系统发生的错误和发生错误后对系统的恢复来说，也可以从一开始就禁止错误的发生

  • 直接从服务中将某个部件移除

  • 事务

    参考数据库出错的恢复机制，就是记录系统的一系列的步骤，出错了可以有序的撤销

  • 预测模型

    通过监控系统的健康状况来保证系统正在正常的方向上运行，一旦出错，立即停止

  • 阻止异常

    使用try-catch，这样即使发生了异常，系统自动执行catch中的操作，保证系统正常运行

  • 增加系统的能力

    增强系统处理各种错误异常的能力，确保在不报错和异常的情况下坚强的运行下去