一、 简介
Elasticsearch是一个基于Apache Lucene(TM)的开源引擎。无论在开源还是专用领域，Lucene可以被认为是迄今为止最先进、性能最好、功能最全的搜索引擎库。
但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索功能，但是它的目的是通过简单RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单
Elasticsearch的中文网址：https://www.elastic.co/cn/products/elasticsearch
1.1 正向索引与倒排索引
正向索引与倒排索引，这是在搜索领域中非常重要的两个名词，正向索引通常用于数据库中，倒排索引最多用于搜索引擎领域，我们根据如下两个网页对这两个概念进行阐述：
html1
我爱我的祖国，我爱编程
html2
我爱编程，我是个快乐的小码农
正向索引： 假设我们使用MySQL的全文检索，会对如上两句话进行分词处理，那么预计得到的结果如下：
我 爱 爱我 祖国 我的祖国 编程 爱编程 我爱编程
我 我爱 爱 编程 爱编程 我爱编程 快乐 码农 小码农
假设我们使用正向索引上搜索编程这个词，那么它会一句一句第去查找是否包含编程这个关键词，如果有就加入到结果集中。假设现在有成千上百个网页，每个网页都有非常多的分词，那么搜索效率将会非常非常低。
倒排索引： 倒排索引是按照分词与文档进行映射
| 关键词 | 文档名 |
|---|---|
| 我 | html1,html2 |
| 爱 | html1,html2 |
| 爱我 | html1 |
| 我爱 | html2 |
| 祖国 | html1 |
| 我的祖国 | html1 |
| 编程 | html1,html2 |
| 我爱编程 | html1,html2 |
| 爱编程 | html1,html2 |
| 快乐 | html2 |
| 码农 | html2 |
| 小码农 | html2 |
如果采用倒排索引的方式搜索编程这个词，那么会直接到关键词中查找到编程，然后查找到对应的文档，这就是所谓的倒排索引。
1.2 Elasticsearch基本概念
- 索引
Elasticsearch中的索引有多层的意思：
1. Elasticsearch中的索引的概念与数据库中索引的概念是完全不一样的，
Elasticsearch中索引如果类比到数据库，那就是一个数据库名。
2. 它还描述了一个动作，就是将某个文档保存在elasticsearch的过程也叫索引
- 文档
文档在Elasticsearch中就是具体的数据，类比到数据库中那就是一条记录。
在7.0之前，一个Index可以创建多个类型，从7.0开始，一个索引只能创建一个类型，也就是_doc
| DBMS | Elasticsearch |
|---|---|
| Table | Index(Type) |
| Row | Document |
| Column | Field |
| Schema | Mapping |
| SQL | DSL(Descriptor Structure Language) |
二、 RestAPI
2.1 基本CURD
- 添加数据，没有指定ID，系统会生成ID
POST user/_doc
{
"age": 10,
"firstName": "Will",
"lastName": "Smith"
}
- 操作数据，指定ID，如果没有对应ID，就添加数据；如果有则修改数据
POST user/_doc/1
{
"age": 20,
"firstName": "Will",
"lastName": "Smith"
}
- 通过_create的方式添加数据，如果存在ID，就会报错
POST user/_create/2
{
"age": 40,
"firstName": "Douge",
"lastName": "Lee"
}
- 查询指定ID的文档
GET user/_doc/1
- 删除指定ID的文档
DELETE user/_doc/1
- 指定ID，创建或者覆盖
PUT user/_doc/1
{
"age": 40,
"firstName": "Hello",
"lastName": "Lee"
}
- 修改原有数据结构
POST user/_update/1
{
"doc": {
"firstName":"Rodan",
"lastName": "Johson"
}
}
- 批量查询
GET _mget
{
"docs": [
{"_index": "movies" , "_id":1},
{"_index": "movies" , "_id":2}
]
}
- 分页查询
GET movies/_search
{
"from": 0,
"size": 20
}
- 批量插入(可以指定ID，也可以不指定ID)
POST user/_bulk
{"index":{"_id": 23}}
{"firstName":"Will", "lastName":"Smith", "mobile": "123455"}
{"index":{}}
{"firstName":"Lily", "lastName":"Bob", "mobile": "98765"}
2.2 URI查询
- 泛查询，就是不指定字段，全字段查找，如下查找所有字段中包含有2012的电影
GET movies/_search?q=2012
- 查询title中包含有2012的所有的电影(df是default field)
GET movies/_search?q=2012&df=title
或者
GET movies/_search?q=title:2012
- 查询title中包含有2012，取索引从10开始，共8条数据
GET movies/_search?q=title:2012&from=10&size=8
- 字符串判断查询
# 查询titile中包含有Beautiful, Mind为泛查询
GET movies/_search?q=title:Beautiful Mind
#查询title中包含有Beautiful, 并且年份大于2012
GET movies/_search?q=title:Beautiful AND year:>=2012
#查询titile中包含有Beautiful或者Mind
GET movies/_search?q=title:(Beautiful Mind)
GET movies/_search?q=title:(+Mind +Beautiful)
#查询title中包含有“Beautiful Mind”的所有的电影
GET movies/_search?q=title:"Beautiful Mind"
#查询title中既包含有Mind又包含有Beautiful的所有的电影，对先后顺序没有要求
GET movies/_search?q=title:(Mind AND Beautiful)
GET movies/_search?q=title:(+Mind AND +Beautiful)
#查询title中包含Mind但是不包含Beautiful的所有的电影
GET movies/_search?q=title:(Mind NOT Beautiful)
GET movies/_search?q=title:(Mind -Beautiful)
- 年份判断查询
#查询2018年以后上映的电影
GET movies/_search?q=year:>=2018
#查询2012年到2017年上映的电影
GET movies/_search?q=year:(>=2012 AND <2018)
#查询2016年到2017年所有的电影，注意：必须以 ] 结尾
GET movies/_search?q=year:{2015 TO 2017]
- 正则判断查询
#查询title中以Mi开头，中间包含一个字符，以d结尾的所有的电影
GET movies/_search?q=title:Mi?d
#查询title中以Min开头，后面为任何内容的电影
GET movies/_search?q=title:Min*
2.3 Request Body查询
在有些查询中，可能会用到各种特别复杂的查询，那么就需要使用Request Body查询。
- 以year的倒序排序，查询电影年份在 [2017, 2018]的数据, <font color="red">query只能单条件查询</font>
GET movies/_search
{
"sort": [
{
"year": {
"order": "desc"
}
}
],
# query中只能有一个条件
"query": {
"range": {
"year": {
"gte": 2017,
"lte": 2018
}
}
}
}
- 以year的倒序排序，查询titile中包含有Beautiful或者Mind的数据, <font color="red">query只能单条件查询</font>
GET movies/_search
{
"sort": [
{
"year": {
"order": "desc"
}
}
],
# query中只能有一个条件
"query": {
"match": {
"title": "Beautiful Mind"
}
}
}
- 短语匹配，查询title中包含有 “Beautiful Mind” 这个短语的的电影
GET movies/_search
{
"query": {
"match_phrase": {
"title": "Beautiful Mind"
}
}
}
- 按照年份的倒序，分页查询
GET movies/_search
{
"sort": [
{
"year": {
"order": "desc"
}
}
],
"from": 0,
"size": 20
}
- 只查询部分列
GET movies/_search
{
"_source": ["title", "year"]
}
- 多个条件查询，多条件查询必须使用bool
GET movies/_search
{
"query": {
"bool": {
"must": [
{
"range": {
"year": {
"gte": 2017,
"lte": 2018
}
}
},
{
"match": {
"title": "Beautiful Mind"
}
}
]
}
}
}
- 多字段同时匹配某些字符串
GET movies/_search
{
"query": {
"multi_match": {
"query": "beautiful mind Romance",
"fields": ["title", "genre"],
"type": "best_fields"
}
}
}
其中type的值有三个:
- most_fields：在多字段中匹配的越多排名越靠前（数量）
- best_fields: 能完全匹配的文档，排名越靠前。（词项）
- cross_fields: 查询越分散，排名越靠前。（分散在不同字段之间）
- query_string 的用法
GET movies/_search
{
"query": {
"query_string": {
"default_field": "title",
"query": "Beautiful Mind",
"default_operator": "AND" #不加默认是OR
}
}
}
GET movies/_search
{
"query": {
"query_string": {
"fields": ["title", "genre"],
"query": "Beautiful Mind",
"default_operator": "AND"
}
}
}
- term实现精准匹配，查询title为Beautiful Mind 的电影
GET movies/_search
{
"query": {
"term": {
"title": {
"value": "Beautiful Mind"
}
}
}
}
- 多条件或判断
GET movies/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"title": "Beautiful Mind"
}
},
{
"range": {
"year": {
"gte": 2017,
"lte": 2018
}
}
}
]
}
}
}
- 推荐搜索
所谓的推荐搜索就是当我们根据条件搜索的时候，因为单词的拼写错误，但是无法搜索出结果，那么Elasticsearch会给出一定的搜索建议，通过 sugguest 来实现。
GET movies/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"title": "beautifu Minx"
}
},
{
"match": {
"genre": "drama"
}
}
]
}
},
"suggest": {
"title-suggest": {
"text": "beautifu Minx",
"term": {
"field": "title",
"suggest_mode": "missing"
}
},
"genre-suggest": {
"text": "drama",
"term": {
"field": "genre",
"suggest_mode": "missing"
}
}
}
}
我们说一下suggest_mode 的三种模式：missing 、popular、always
<font color="red">missing: </font> 意思是当词典中没有找到对应的索引信息，才去推荐。
<font color="red">popular: </font> 意思是即使我们去搜索一个被索引了的单词，但是还是会去给我们推荐类似的但是出现频率很高的词。
<font color="red">always： </font> 无论在任何情况下，都给出推荐。
注意： 这三种模式只能在term下使用
2.4 自动补全功能
Elasticsearch的自动补全功能是基于 suggest 来实现的，但是需要提前定义好需要进行搜索字段的mapping信息(mapping一旦创建好后是不能修改的)。
- 定义mapping并执行，需要自动补全的属性的 type 必须是 completion
{"mappings" : {
"properties" : {
"@version" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"genre" : {
"type" : "completion",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"id" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"title" : {
"type" : "completion",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"year" : {
"type" : "long"
}
}
}
}
执行如下命令，重新定义mapping
put movies
{
# 这里是重新定义的mapping
}
- 执行推荐
执行如下命令，重新定义mapping
<font color="red">不足：</font>completion这个推荐的方式只能是前缀查询，但是其查找速度极快。
