关键概念
- leader：被选举为active master的节点角色
- follower：stand by master的节点角色
- candidate：参与选举active master的节点角色
- term：任期，借鉴Raft概念，选举是以任期为单位，在一个任期内选出一个leader
基本原理
关于可以参与选举的master列表说明
- ES ClusterState记录了一个可以参与选举的master列表，具体可通过如下接口查看：
GET /_cluster/state?filter_path=metadata.cluster_coordination
- 新集群配置“cluster.initial_master_nodes”原因是初始化集群时，集群不知道会有几个master，所以要配置一个参与选举的mater列表，等集群已经形成后，就不再需要该参数，而是以集群cluster_coordination记录的master列表为准
- 可以参与的master列表是动态变化的，必须是奇数个，如果有偶数个master，则会有一个master不在参与的选举列表中。
- 列表中的master节点下线后，就会从列表中去掉该节点。
- 如果瞬间下线列表中超过一半的节点，在cluster_coordination参与选举的列表还未更新的情况下，此时就无法选出active master了，集群会处于不可用状态。
- 列表会记录master的node的uuid，在3个master情况下，挂掉2个master，及时再重新拉起其他master，也无法加入选举列表，无法再选出master。 日志示例如下：
[2022-08-09T19:45:45,058][WARN ][o.e.c.c.ClusterFormationFailureHelper] [node-1] master not discovered or elected yet, an election requires at least 2 nodes with ids from [nK9-ZmzDRQWKN_UnFrjNcA, CKC6JAiUQPax9lvwWJ7K-A, dXPeuF_bTQqQnm0Ijf0vBw], have discovered [{node-1}{dXPeuF_bTQqQnm0Ijf0vBw}{9KQbaBPmTKCHPj0edLT5Hw}{127.0.0.1}{127.0.0.1:9300}{cdhilmrstw}{ml.machine_memory=17179869184, xpack.installed=true, transform.node=true, ml.max_open_jobs=20}] which is not a quorum; discovery will continue using [127.0.0.1:9301, 127.0.0.1:9302, 127.0.0.1:9303, 127.0.0.1:9304, 127.0.0.1:9305, 127.0.0.1:9306] from hosts providers and [{node-1}{dXPeuF_bTQqQnm0Ijf0vBw}{9KQbaBPmTKCHPj0edLT5Hw}{127.0.0.1}{127.0.0.1:9300}{cdhilmrstw}{ml.machine_memory=17179869184, xpack.installed=true, transform.node=true, ml.max_open_jobs=20}, {node-2}{CKC6JAiUQPax9lvwWJ7K-A}{rVvA-uMcQ_qD_sA8M_dN7w}{127.0.0.1}{127.0.0.1:9301}{cdhilmrstw}{ml.machine_memory=17179869184, ml.max_open_jobs=20, xpack.installed=true, transform.node=true}] from last-known cluster state; node term 40, last-accepted version 100 in term 40
选举原理
- 选举原理使用的是 Raft的选主原理，基本原理在一个任期内，大家互相投票，一个节点只能投一票，先到先得，有一个节点获得了超过半数的认可，就会被选为主。Raft有个关键优化是为了防止大家都一起拉票，每个节点开始投票的时间是一个随机值，这样可以让节点分开拉票，就有很大机会能拉到一半投票。
选举流程
ES实现的基本流程如下（以一个最终被选为leader的节点视角）：
- 节点变成candidate角色后，开始等待一个随机时间。随机时间结束后，开始进入选举流程。
- 节点会给master列表内的其他节点发送pre_vote请求。
- 收到pre_vote响应后，判断term等符合条件后，正式开始选举。
- 给其他节点发送start_join请求，其他节点收到请求后，就会给该节点发送join请求。
- 节点处理join请求响应结果，判断是否获得选票，如果获得超过一半的选票，就在该任期内被选为leader，节点发送elected-as-master的cluster tasks跟全部节点，publish自己当选为active master的消息。
image.png
选举参数
- cluster.election.initial_timeout：默认值为100ms
- cluster.election.back_off_time：默认值为100ms
- cluster.election.max_timeout：默认值为10s
- cluster.election.duration：默认值为500ms
这四个参数决定在同一个任期内，每次发起选举的时间间隔。
时间间隔计算方式为：
- 第一次duration为0s，第二次开始是duration值，默认500ms
- 随机数的最大值maxRandom为：Math.min(maxTimeout, initialTimeout + thisAttempt * backoffTime) ，最大为maxTimeout，最小为initialTimeout，随着尝试的次数越来越多，最大值也越来越大。
- 最终时间间隔 = duration + random(maxRandom)
- 第一次开始选举的时间默认是在100ms内选取一个随机时间。
选举相关action
- internal:cluster/request_pre_vote：预投票接口，开始选举前，broadcast全部选举的节点，
- internal:cluster/coordination/start_join，收到预投票接口响应结果后，确认是否开始选举（master是否选出、term是否符合要求），可以开始的话，就会调用start_join接口，发送给全部选举节点，让这些节点给自己发送join请求。
- internal:cluster/coordination/join，其他节点收到start_join请求后，给选举节点发送join请求，发送相关join信息给候选者，选举节点收到join请求后，处理选举结果，判断是否超过半数同意，超过半数，则在当前任期内选为master，publish elected-as-master 的task。
- internal:cluster/coordination/join/validate
