1.前言
最近需要基于ES做一些统计分析的报表，所以对其聚合功能做了一些了解，发现功能挺强大，能够从大量数据中对指标做一些复杂的统计分析，而且只需简单的调用一个API就能实现，这里将学习和使用的过程做个简单的总结。
- Aggregations基础
掌握Aggregations需要明白的两个主要概念：
桶（Buckets）：满足特定条件的文档的集合，类似于SQL中的group by。
指标（Metrics）：对桶内的文档进行统计计算，类似于SQL中的count()、sum()、max()等聚合函数。
每个聚合都是由一个或者多个桶和零个或者多个指标的组合而成。 Metric Aggregations常用的有min、max、avg、sum、cardinality等，Bucket Aggregations常用的有terms、range、histogram等。下面是一个聚合的例子：
{
"size": 0,
"aggs": {
"grade": {
"terms": {
"field": "grade"
},
"aggs": {
"avg_score": {
"avg": {
"field": "score"
}
}
}
}
}
}
其语义类似这个sql语句：select grade,avg(score) from table group by grade。
Elasticsearch使用一个叫doc values的数据结构来做聚合，是一种列式存储的正向索引。doc values是持久化存储在文件中，并且是预先构建的,也就是数据进入到Elasticsearch时，就会同时生成反向索引和doc values，这会消耗额外的存储空间，但对于JVM的内存需求会大幅度减少，剩余的内存可以留给操作系统的文件缓存使用。
3.常见问题
3.1 多个filed的聚合
类似SQL中要group by多个字段，其实aggregation的bucket的嵌套（桶中桶）也相当于聚合多个filed。另外还有下面两种方式：1.在aggregation中可以通过script来实现。假设现在有两个field f和g，则aggregation如下：
"aggs": {
"t": {
"terms": {
"script": "doc['f'].values + doc['g'].values"
}
}
}
2.也可以通过copy_to在索引建立期间将多个filed合并成一个，然后只对这一个filed做aggregation：
"mappings": {
"test": {
"properties": {
"f": {
"type": "string",
"index": "not_analyzed",
"copy_to": "f_and_g"
},
"g": {
"type": "string",
"index": "not_analyzed",
"copy_to": "f_and_g"
},
"f_and_g": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
"aggs": {
"t": {
"terms": {
"field": "f_and_g"
}
}
}
3.2 aggregations不支持分页查询
出于性能等各方面因素的考虑，Elasticsearch Aggregations是不支持分页查询的，具体可以见：
https://github.com/elastic/elasticsearch/issues/4915
3.3 分析对聚合的影响
如果字符串字段是analyzed的，在indexing时会被分词器切割成多个tokens，而doc values不能用于分析字符串，在做比如terms这样的聚合时，会使用一种被称为fielddata 的数据结构统计出一些意料之外的结果。解决办法是再为该字段定义multifield并且设置成not_analyzed：
"mappings": {
"data": {
"properties": {
"filed_name" : {
"type": "string",
"fields": {
"raw" : {
"type": "string",
"index": "not_analyzed"
}
}
}
}
}
}
"size" : 0,
"aggs" : {
"t" : {
"terms" : {
"field" : "field_name.raw"
}
}
}
与doc values不同，fielddata 构建和管理 100% 在内存中，常驻于 JVM 内存堆。这意味着它本质上是不可扩展的，有很多边缘情况下要提防。fielddata 是 所有 字段的默认设置。但是 Elasticsearch 已迁移到 doc values 以减少 OOM 的几率。分析的字符串是仍然使用 fielddata 的最后一块阵地。 最终目标是建立一个序列化的数据结构类似于 doc values ，可以处理高维度的分析字符串，逐步淘汰 fielddata。
