配置报警规则
Alertmanager部署
- 下载二进制包
https://prometheus.io/download/
安装alertmanager
- 安装步骤
[root@prometheus ~]# tar xf alertmanager-0.20.0-rc.0.linux-amd64.tar.gz -C /usr/local/
[root@prometheus ~]# ln -sv /usr/local/alertmanager-0.20.0-rc.0.linux-amd64/ /usr/local/Prometheus_alertmanager/
[root@prometheus ~]# cd /usr/local/Prometheus_alertmanager/
配置alertmanager邮件告警
- 修改alertmanager配置文件
[root@prometheus Prometheus_alertmanager]# cp alertmanager.yml alertmanager.yml.bak
[root@prometheus Prometheus_alertmanager]# vim alertmanager.yml
global:
resolve_timeout: 5m
smtp_smarthost: 'smtp.163.com:25' # smtp地址
smtp_from: 'xxx@163.com' # 谁发邮件
smtp_auth_username: 'xxx@163.com' # 邮箱用户
smtp_auth_password: 'xxxxx' # 邮箱客户端授权密码
smtp_require_tls: false
route: # route用来设置报警的分发策略
group_by: ["alertname"] # 分组名
group_wait: 30s # 当收到告警的时候，等待三十秒看是否还有告警，如果有就一起发出去
group_interval: 30s # 发送警告间隔时间
repeat_interval: 20m # 重复报警的间隔时间
receiver: Node_warning # 设置默认接收人，如果想分组接收，把下面这段的注释去掉
# routes: # 可以指定哪些组接收哪些消息
# - receiver: 'Node_warning'
# continue: true
# group_wait: 10s
# match_re:
# service: mysql|cassandra # 所有service=mysql或者service=cassandra的告警分配到数据库接收端
# - receiver: 'MySQL_warning'
# group_wait: 10s
# match_re: # 根据标签分组，匹配标签dest=szjf的为fping-receiver组
# serverity: warning
receivers: # 定义接收者，将告警发送给谁
- name: 'Node_warning'
email_configs:
- to: 'xxx@126.com'
#- name: 'MySQL_warning'
# email_configs:
# - to: 'xxx@qq.com'
测试
- 检查配置
[root@prometheus Prometheus_alertmanager]# ./amtool check-config alertmanager.yml
Checking 'alertmanager.yml' SUCCESS
Found:
- global config
- route
- 0 inhibit rules
- 1 receivers
- 0 templates
测试成功
- 配置systemd启动alertmanager
[root@prometheus ~]# vim /lib/systemd/system/alertmanager.service
[Unit]
Description=Alertmanager
After=network.target
[Service]
ExecStart=/usr/local/Prometheus_alertmanager/alertmanager --config.file='/usr/local/Prometheus_alertmanager/alertmanager.yml'
[Install]
WantedBy=multi-user.target
# 重载配置并设置开机自启
[root@prometheus ~]# systemctl daemon-reload
[root@prometheus ~]# systemctl start alertmanager
[root@prometheus ~]# systemctl enable alertmanager
在web中使用url：http://alertmanager_ip:9093，会显示alertmanager的界面
建立通信
- 修改prometheus配置文件，添加alertmanager通讯地址
[root@prometheus ~]# cd /usr/local/Prometheus
[root@prometheus Prometheus]# vim prometheus.yml
# 建立通信
alerting:
alertmanagers:
- static_configs:
- targets:
- 127.0.0.1:9093
# 规则读取路径（可配置多个）
rule_files:
- "rules/node_rules.yml"
# - "rules/mysql_rules.yml"
- 配置告警规则
[root@prometheus Prometheus]# mkdir rules
[root@prometheus Prometheus]# vim rules/node_rules.yml
groups:
- name: test
rules:
- alert: 内存使用率过高
expr: 100-(node_memory_Buffers_bytes+node_memory_Cached_bytes+node_memory_MemFree_bytes)/node_memory_MemTotal_bytes*100 > 90
for: 30s # 告警持续时间，超过这个时间才会发送给alertmanager
labels:
severity: warning
annotations:
summary: "Instance {{ $labels.instance }} 内存使用率过高"
description: "{{ $labels.instance }} of job {{$labels.job}}内存使用率超过80%,当前使用率[{{ $value }}]."
- alert: cpu使用率过高
expr: 100-avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by(instance)*100 > 90
for: 30s
labels:
severity: warning
annotations:
summary: "Instance {{ $labels.instance }} cpu使用率过高"
description: "{{ $labels.instance }} of job {{$labels.job}}cpu使用率超过80%,当前使用率[{{ $value }}]."
测试规则
- 检查告警规则，重载prometheus
[root@prometheus Prometheus]# curl -XPOST http://localhost:9090/-/reload
- 在prometheus界面的alert可以看到告警状态
- 绿色表示正常。
- 红色状态为PENDING表示alerts还没有发送至Alertmanager，因为rules里面配置了for: 30s。
- 30s后状态由PENDING变为FIRING，此时，prometheus才将告警发给alertmanager，在Alertmanager中可以看到有一个alert。
