ElasticSearch 介绍

整体介绍

ElasticSearch,官网上对它的定义为:

Elasticsearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases.

说它是一个分布式的,具有Restful编程风格的,可解决不断出现的用例的一个分析搜索引擎。搜索这点大家认识都很深刻,它的分析能力,其实也很强。目前我们这边做过命中量为1.2亿的聚合(简单的聚合统计)运算,时间只需要5s左右。很给力!

它具有以下四个特征:

  • 速度特别快
    200亿的数据量,一个查询命中量有210w,只取1w,仅需93ms。

  • 可扩展性很好
    理论上任何机器都可以,大到高性能服务器,小到普通台式电脑。还是建议统一的配置较好,如果集群中既有ssd,又有普通硬盘,普通硬盘的查询和导入会拉慢整体的性能。

  • 弹性很好
    如果你的索引都是多备份,即使挂了台节点,系统依然可以正常运行。

  • 灵活性很好
    支持结构化和非结构化的数据。All data types are welcome.

概念介绍

1、准实时(Near Realtime)

默认情况下,插入的数据1s后可查询,所示称其为准实时系统。

2、集群(Cluster)

由一个或多个节点组成,能保存数据,且所有节点提供索引和搜索功能。

3、节点(Node)

集群的单个server,可存储数据,并提供集群的索引和搜索功能。

  • Master 节点:管理集群,向其他节点同步集群状态。
  • Data 节点:存储数据的节点。
  • Client节点:为外部提供检索的节点。


    ES集群架构

4、索引(Index)

所有具有相似特征的文档集合。类似于数据库的database。

5、类型(Type)

Type主要用来逻辑上分割索引。类似于数据库中的table。数据库中的table是物理分割的,但ES的type是逻辑分割的,不同type的相同field还是会放在一起。因此,ES6.0中已取消多type。

6、文档(Document)

可被索引的最小单位。类似于数据库中的一条记录。

7、分片(shard)

索引的大小可能超出单个节点的限制,将索引分为多块存储,每块即为一个分片。

8、副本( replicas )

分片的备份数。默认情况下每个索引有一个备份。

9、集群状态

  • Red:某些分片的主副分片都丢失,影响数据完整性。
  • Yellow:某些副本分片丢失,不影响数据的完整性。
  • Green:健康状态,没有分片丢失。


    ES集群状态改变

模块介绍

网上找的相关内容感觉都不全,我按照源码的结构整理了一下,大致分为以下几个模块:

1、ScriptModule

加载用户自定义的脚本插件,提供脚本服务(ScriptService)。

脚本服务包括:

  • 加载脚本的配置信息,比如说缓存大小,脚本大小等等
  • 编译脚本
  • 生成脚本模板
  • 监听集群脚本变化信息。若有变化,跟随变化更改。
  • 脚本转化。将一个普通脚本通过添加参数转化为一个可执行的脚本。

2、AnalysisModule

分词相关的模块。

  • 加载词典
  • 加载插件和常用的charFilters
  • 加载插件和常用的tokenFilters
  • 加载插件和常用的tokenizers
  • 加载插件和常用的analyzers

3、SettingsModule

加载对应的系统配置。

  • 加载Index Setting
  • 加载Cluter Setting
  • 加载Node Setting

4、ClusterModule

  • 将请求中的正则表达式索引名字转化为集群中具体的索引名字

  • 创建shard分配器(ShardsAllocator)分配shard

  • 提供集群服务(clusterService)

    集群服务(ClusterService)

    • 监听集群状态改变,并添加listener ClusterChangedEvent, Discovery.AckListener
    • 结合DiscoveryNodes和NodeConnectionsService做一系列的监听(集群状态同步监听、集群状态确认监听,节点离开加入等)
    • 通过ClusterServiceTaskBatcher执行集群任务
    • 通过OperationRouting找到对应shard

5、IndicesModule

配置每个节点上索引共享的类和服务。

  • 加载插件和内嵌的所有mapper类型,比如说Text,Keyword,Number等等
  • 加载插件和内嵌的所有metamapper类型,比如说Version,TTL,Source等等

6、SearchModule

加载插件和内嵌的查询组件,包括(打分、聚合、排序等等)

7、ActionModule

  • 注册RestHandler,也就是将Rest*Action接收的查询格式传入RestController中
  • 绑定RestAction和TransportAction的对应关系

8、GatewayModule

Gateway模块用于存储es集群的元数据信息。这部分信息主要包括所有的索引连同索引设置和显式的Mapping信息。集群元数据的每一次改变(比如增加删除索引等),这些信息都要通过Gateway模块进行持久化。当集群第一次启动的时候,这些信息就会从Gateway模块中读出并应用。

  • Recovery After Nodes/Time
  • Local Gateway从每个节点的本地存储中恢复集群状态和索引,不需要节点之间的共享存储

9、NetworkModule

注册和绑定所有网络相关的类。

  • 初始化常用的http、transport配置信息。
  • 注册内嵌的所有AllocationCommand。
  • 提供Transport和HttpTransport的注册方法。

10、RepositoriesModule

Repositories模块主要是做索引的快照和恢复。Snapshot/Restore

11、DiscoveryModule

Discovery模块主要用来做节点发现。

后续

后面的ES文章主要会在ClusterModule和SearchModule上面下功夫,ScriptModule、AnalysisModuleGatewayModule和RepositoriesModule模块也会聊一聊,其他的模块会在介绍前面的模块时顺带点一下,不会花大片的篇幅讲解。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容