3、Alertmanager告警

1、Alertmanager简介

Alertmanager是一个独立的告警模块，接收Prometheus等客户端发来的警报，之后通过分组、删除重复等处理，并将它们通过路由发送给正确的接收器；告警方式可以按照不同的规则发送给不同的模块负责人，Alertmanager支持Email, Slack，等告警方式, 也可以通过webhook接入钉钉等国内IM工具

2、Alertmanager部署

1.下载Alertmanager

Alertmanager可以独立部署在一台服务器中，也可以部署在prometheus服务器。
官网下载地址：https://prometheus.io/download/
wget https://github.com/prometheus/alertmanager/releases/download/v0.21.0/alertmanager-0.21.0.linux-amd64.tar.gz
tar -zxvf alertmanager-0.21.0.linux-amd64.tar.gz -C /data
ln -sv /data/alertmanager-0.21.0.linux-amd64 /usr/local/alertmanager

2.配置Alertmanager

cd /usr/local/alertmanager

cat > alertmanager.yml << 'EOF'
global:
  resolve_timeout: 5m
  smtp_smarthost: 'smtp.163.com':25'
  smtp_from: 'shd_stars@163.com''
  smtp_auth_username: 'xxx@163.com'' #告警发送邮箱地址
  smtp_auth_password: 'xxxxx' #授权码！不是邮箱的登陆密码
  smtp_require_tls: false

route:
  group_by: ['alertname'] # 分组标签
  group_wait: 10s # 分组等待时间，同一组内在10秒钟内还有其它告警，如果有则一同发送
  group_interval: 10s # 上下两组间隔时间
  repeat_interval: 300s # 重复告警间隔时间，间隔时间不要设置太短，容易出现告警轰炸
  receiver: 'mail' # 接收者是谁

receivers: # 定义接收者，将告警发送给谁
- name: 'mail'
  email_configs:
  - to: 'xxx@163.com'' #接收邮箱地址
    send_resolved: true  #是否接收恢复信息，false|true

inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    #确保这个配置下的标签内容相同才会抑制，也就是说警报中必须有这三个标签值才会被抑制。
    equal: ['alertname', 'dev', 'instance']    
EOF

配置文件的主要作用解释：

global: 全局配置，包括报警解决后的超时时间、SMTP 相关配置、各种渠道通知的 API 地址等等。
route: 用来设置报警的分发策略，它是一个树状结构，按照深度优先从左向右的顺序进行匹配。
receivers: 配置告警消息接受者信息，例如常用的 email、wechat、slack、webhook 等消息通知方式。
inhibit_rules: 抑制规则配置，当存在与另一组匹配的警报（源）时，抑制规则将禁用与一组匹配的警报（目标）。

3.检查Alertmanager配置文件

cd /usr/local/alertmanager
./amtool check-config alertmanager.yml
提示Checking 'alertmanager.yml' SUCCESS 即表示配置文件格式正常。

4.创建Alertmanager启动文件

cat > /usr/lib/systemd/system/alertmanager.service << 'EOF' 
[Unit]
Description=https://prometheus.io

[Service]
Restart=on-failure
ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable alertmanager.service --now
systemctl status alertmanager.service
可以通过浏览器访问：http://IP:9093 即可访问alertmanager。

3.配置Prometheus与Alertmanager告警

1、配置Prometheus

cd /usr/local/prometheus
vi prometheus.yml

...
# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - localhost:9093 #实际的alertmanager IP和端口
rule_files:
  - "rules/*.yml" #告警规则文件路径
   #- "second_rules.yml"
...

2、检查Prometheus配置文件

cd /usr/local/prometheus
./promtool check config prometheus.yml
3、创建Prometheus rules目录
cd /usr/local/prometheus
mkdir rules
创建节点状态告警规则

cat > /usr/local/prometheus/rules/general.yml << 'EOF'
groups:
- name: general.rules
  rules:    
  - alert: InstanceDown
    expr: up == 0 # 表达式当前被监控实例服务(node_exporter)状态，1为正常，
    for: 10s # 告警持续时间10s 
    labels:
      severity: warning # 告警级别warning| error
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} 已经停止工作10秒钟。"
EOF

检查配置文件
./promtool check rules rules/general.yml
重启prometheus
systemctl restart prometheus
浏览器访问prometheushttp://IP:9090/rules 查看告警规则

图片.png

Prometheus Alert (http://IP:9090/alerts)告警状态有三种状态：Inactive、Pending、Firing。

Inactive：非活动状态，表示正在监控，但是还未有任何警报触发。
Pending：表示这个警报必须被触发。由于警报可以被分组、压抑/抑制或静默/静音，所以等待验证，一旦所- 有的验证都通过，则将转到 Firing 状态。
Firing：将警报发送到 AlertManager，它将按照配置将警报的发送给所有接收者。一旦警报解除，则将状态转到 Inactive，如此循环。

图片.png

4.验证邮件告警

验证故障邮件告警，停止node_exporter.service
systemctl stop node_exporter.service

停止服务后，等待 15s 左右可以看到 Prometheus target 里面 node-exproter 状态为 unhealthy 状态
等待 15s 后，alert 页面由绿色 node-up (0 active) Inactive 状态变成了黄色 node-up (1 active) Pending 状态
继续等待 15s 后状态变成红色 Firing 状态，向 AlertManager 发送报警信息，此时 AlertManager 则按照配置规则向接受者发送邮件告警。

登录邮箱查看告警信件：