Prometheus（简称Prom）前身是SoundCloud的告警工具包，现已演化成一个独立的开源监控系统。属于Kurberntes所在的Cloud Native Computing Foundation。
主要特性
- 多维度数据模型
- 时间序列数据通过 metric 名和键值对来区分。
- 所有的 metrics 都可以设置任意的多维标签。
- 数据模型更随意，不需要刻意设置为以点分隔的字符串。
- 可以对数据模型进行聚合，切割和切片操作。
- 支持双精度浮点类型，标签可以设为全 unicode。
- 灵活的查询语言：在同一个查询语句，可以对多个 metrics 进行乘法、加法、连接、取分数位等操作。
- 不依赖任何分布式存储
- 通过拉取方式采集数据，或者通过中间网关推送方式采集数据
- 通过服务发现或者静态配置来发现监控目标
- 支持多种图形界面展示方式
架构
下图描述了 Prometheus 的整体架构和其生态内。一些常用组件：
- Prometheus Server：用于收集和存储时间序列数据。
- Client Library： 客户端库，为需要监控的服务生成相应的 metrics 并暴露给 Prometheus server。当 Prometheus server 来 pull 时，直接返回实时状态的 metrics。
- Push Gateway：主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter。
- Exporters：用于暴露已有的第三方服务的 metrics 给 Prometheus。
- Alertmanager：从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie, webhook 等。
- Prometheus以其Server为核心，用于收集和存储时间序列数据。Prometheus Server 从监控目标中拉取数据，或通过中间网关间接的把监控目标的监控数据存储到本地HDD/SSD中。
- 用户接口界面通过各种UI使用PromQL查询语言从Server获取数据。
- 一旦Server检测到异常，会推送告警到AlertManager，由告警管理负责去通知相关方。
Prometheus 核心概念
数据模型
Prometheus 从根本上存储的所有数据都是时间序列数据（Time Serie Data，简称时序数据）。时序数据是具有时间戳的数据流，该数据流属于某个度量指标（Metric）和该度量指标下的多个标签（Label）。除了提供存储功能，Prometheus 还可以利用查询表达式来执行非常灵活和复杂的查询。
度量指标和标签
每个时间序列（Time Serie，简称时序）由度量指标和一组标签键值对唯一确定。
度量指标名称描述了被监控系统的某个测量特征（比如 http_requests_total 表示 http 请求总数）。度量指标名称由 ASCII 字母、数字、下划线和冒号组成，须匹配正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]*。
标签开启了 Prometheus 的多维数据模型。对于同一个度量指标，不同标签值组合会形成特定维度的时序。Prometheus 的查询语言可以通过度量指标和标签对时序数据进行过滤和聚合。改变任何度量指标上的任何标签值，都会形成新的时序。标签名称可以包含 ASCII 字母、数字和下划线，须匹配正则表达式[a-zA-Z_][a-zA-Z0-9_]*，带有 _下划线的标签名称保留为内部使用。标签值可以包含任意 Unicode 字符，包括中文。
采样值（Sample）
时序数据其实就是一系列采样值。每个采样值包括2部分：
- 一个 64 位的浮点数值
- 一个精确到毫秒的时间戳
注解（Notation）
一个注解由一个度量指标和一组标签键值对构成。形式如下：
[metric name]{[label name]=[label value], ...}
例如，度量指标为 api_http_requests_total，标签为 method="POST"、handler="/messages" 的注解表示如下：
api_http_requests_total{method="POST", handler="/messages"}
度量指标类型
Prometheus 里的度量指标有以下几种类型。
1. 计数器（Counter）
计数器是一种累计型的度量指标，它是一个只能递增的数值。计数器主要用于统计类似于服务请求数、任务完成数和错误出现次数这样的数据。
2. 计量器（Gauge）
计量器表示一个既可增又可减的度量指标值。计量器主要用于测量类似于温度、内存使用量这样的瞬时数据。
3. 直方图（Histogram）
直方图对观察结果（通常是请求持续时间或者响应大小这样的数据）进行采样，并在可配置的桶中对其进行统计。有以下几种方式来产生直方图（假设度量指标为 <basename>）：
- 按桶计数，相当于
<basename>_bucket{le="<upper inclusive bound>"} - 采样值总和，相当于
<basename>_sum - 采样值总数，相当于
<basename>_count，也等同于把所有采样值放到一个桶里来计数<basename>_bucket{le="+Inf"}
Histogram可以理解为柱状图，典型的应用如：请求持续时间，响应大小。可以对观察结果采样，分组及统计。
例如，查询 http_request_duration_microseconds_sum{job="Prometheus", handler="query"} 时，返回结果如下：
4. 汇总（Summary）
类似于直方图，汇总也对观察结果进行采样。除了可以统计采样值总和和总数，它还能够按分位数统计。有以下几种方式来产生汇总（假设度量指标为 <basename>）：
- 按分位数，也就是采样值小于该分位数的个数占总数的比例小于 φ，相当于
<basename>{quantile="<φ>"} - 采样值总和，相当于
<basename>_sum - 采样值总数，相当于
<basename>_count
5. 任务（Job）和实例（Instance）
在 Prometheus 里，可以从中抓取采样值的端点称为实例，为了性能扩展而复制出来的多个这样的实例形成了一个任务。
例如下面的 api-server 任务有四个相同的实例：
job: api-server
instance 1: 1.2.3.4:5670
instance 2: 1.2.3.4:5671
instance 3: 5.6.7.8:5670
instance 4: 5.6.7.8:5671
Prometheus 抓取完采样值后，会自动给采样值添加下面的标签和值：
- job: 抓取所属任务。
- instance: 抓取来源实例
另外每次抓取时，Prometheus 还会自动在以下时序里插入采样值：
-
up{job="[job-name]", instance="instance-id"}：采样值为 1 表示实例健康，否则为不健康 -
scrape_duration_seconds{job="[job-name]", instance="[instance-id]"}：采样值为本次抓取消耗时间 -
scrape_samples_post_metric_relabeling{job="<job-name>", instance="<instance-id>"}：采样值为重新打标签后的采样值个数 -
scrape_samples_scraped{job="<job-name>", instance="<instance-id>"}：采样值为本次抓取到的采样值个数
