etcd入门之jetcd

java项目可以通过jetcd客户端使用etcd提供的分布式协调服务,让java项目分布式协调组件除了zookeeper外有了另一个选择。zookeeper与etcd的优劣在网上可以找到不少的分析文章。

1 maven依赖

java工程使用jetcd只需要添加相应的依赖(0.6.x版本要求JDK的最低版本是JDK 11,0.5.x和0.7.x版本支持JDK 8,大家实际使用中可以根据自己使用的JDK版本选择)

    <dependency>
        <groupId>io.etcd</groupId>
        <artifactId>jetcd-core</artifactId>
        <version>0.7.3</version>
    </dependency>

如果使用上面的版本运行起来后报netty 某个方法不存在的错误,可能是netty版本的问题,尝试引入相应版本的netty依赖,经测试,以下netty和jetcd版本组合在JDK 8中可以正常使用。

    <!-- etcd -->
    <dependency>
        <groupId>io.netty</groupId>
        <artifactId>netty-buffer</artifactId>
        <version>4.1.66.Final</version>
        <exclusions>
            <exclusion>
                <groupId>io.netty</groupId>
                <artifactId>netty-common</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

    <dependency>
        <groupId>io.netty</groupId>
        <artifactId>netty-common</artifactId>
        <version>4.1.66.Final</version>
    </dependency>

    <dependency>
        <groupId>io.etcd</groupId>
        <artifactId>jetcd-core</artifactId>
        <version>0.7.3</version>
        <exclusions>
            <exclusion>
                <groupId>io.netty</groupId>
                <artifactId>netty-buffer</artifactId>
            </exclusion>
            <exclusion>
                <groupId>io.netty</groupId>
                <artifactId>netty-common</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
        

2 连接etcd集群

通过以下语句可以获取代理etcd集群连接和操作的Client实例,endpoints就是etcd集群的listen-client-urls列表

    String[] endpoints = new String[]{"http://127.0.0.1:2379", "http://127.0.0.2:2379",  "http://127.0.0.2:2379"};
    Client etcdClient = Client.builder().endpoints(endpoints).build();

如果需要用户名和密码验证,可以通过user()和password()参数指定

    String[] endpoints = new String[]{"http://127.0.0.1:2379", "http://127.0.0.2:2379",  "http://127.0.0.2:2379"};
    String user = "test";
    String passwd = "testpw";
    Client etcdClient = Client.builder().endpoints(endpoints).user(user).password(passwd).build();

同样的,如果通过TLS协议与etcd通信,可以通过sslContext()指定TLS证书信息

    String[] endpoints = new String[]{"http://127.0.0.1:2379", "http://127.0.0.2:2379",  "http://127.0.0.2:2379"};
    SslContext sslContext = ;
    Client etcdClient = Client.builder().endpoints(endpoints).sslContext(sslContext).build();

有了Client对象,就可以获取etcd的具体操作对象,与etcd集群进行交互了。如:

    // 集群管理
    Cluster etcdCluster = etcdClient.getClusterClient();
    // 操作键值对
    KV kv = etcdClient.getKVClient();
    // 操作租约
    Lease lease = etcdClient.getLeaseClient();
    // 监听功能
    Watch watch = etcdClient.getWatchClient();
    // 选主
    Election election = etcdClient.getElectionClient();
    // 分布式锁
    Lock lock = etcdClient.getLockClient();

3 集群管理

    Cluster etcdCluster = etcdClient.getClusterClient();
    
    // 获取集群所有成员
    CompletableFuture<MemberListResponse> memberResponse = etcdCluster.listMember();
    // 阻塞获取成员信息
    List<Member> members = memberResponse.get().getMembers();
    for (Member member : members) {
        // 包括集群每个节点的id、name,发布的peer url和client url
        log.info("memberId: {}, memberName: {}, peerUrls: {}, clientUrls: {}", member.getId(), member.getName(), member.getPeerURIs(), member.getClientURIs());
    }

通过Cluster还可以向etcd集群进行添加和删除节点等操作

4 KV操作

    KV kv = etcdClient.getKVClient();
    
    ByteSequence key = ByteSequence.from("test-key",StandardCharsets.UTF_8);
    ByteSequence value = ByteSequence.from("test-value",StandardCharsets.UTF_8);
    
    // 写入key value
    CompletableFuture<PutResponse> putFuture = kv.put(key, value);
    
    // 读key的值
    CompletableFuture<GetResponse> getFuture = kv.get(key);
    
    // 阻塞获取,值应该为上面写入的test-value
    String retValue = getFuture.get().getKvs().get(0).getValue().toString(StandardCharsets.UTF_8);
    
    // 前缀查询
    GetOption prefixOption = GetOption.newBuilder().isPrefix(true).build();
    CompletableFuture<GetResponse> getFuture = kv.get(key, prefixOption);
    
    // 范围查询
    ByteSequence endKey = ByteSequence.from("test-key100",StandardCharsets.UTF_8);
    GetOption rangeOption = GetOption.newBuilder().withRange(endKey).build();
    CompletableFuture<GetResponse> getFuture = kv.get(key, rangeOption);    

5 lease操作

    Lease lease = etcdClient.getLeaseClient();
    long leaseId = 0L;
    // 创建一个租约,租约TTL时间为60秒
    leaseId = lease.grant(60).get().getID();
    
    // 写入key-value值时绑定一个租约,租约到期后,key会被删除
    KV kv = etcdClient.getKVClient();
    PutOption option = PutOption.newBuilder().withLeaseId(leaseId).build();
    CompletableFuture<PutResponse> putFuture = kv.put(key, value, option);
    
    // 获取租约信息,比如租约id,授予的ttl,剩余的ttl,哪些key绑定了改租约
    CompletableFuture<LeaseTimeToLiveResponse> leaseFuture= lease.timeToLive(leaseId, leaseOption);
    
    // 为租约续约一次
    lease.keepAliveOnce(leaseId);
    
    // 持续续约,在租约的三分之一时间时,就会自动向etcd续约。相当于租约到期前会执行三次keepAliveOnce()
    lease.keepAlive(leaseId, observer);
    
    // 主动撤销租约
    lease.revoke(leaseId);

执行lease.keepAlive()方法持续向etcd集群续约时,可以提供一个observer,跟踪续约情况:

    public static class ClusterNodeKeepAliveObserver implements StreamObserver<LeaseKeepAliveResponse> {

        @Override
        public void onNext(LeaseKeepAliveResponse value) {
            log.trace("cluster node lease remaining ttl: {}, lease id: {}", value.getTTL(), value.getID());
        }

        @Override
        public void onError(Throwable t) {
            log.error("cluster node lease keep alive failed. exception info: {}", ExceptionUtils.getStackTrace(t));
        }

        @Override
        public void onCompleted() {
            log.trace("cluster node lease completed");
        }
    }

6 watch

可以监听某个key,并注册key发生变化的处理方法

    Watch watch = etcdClient.getWatchClient();
    ByteSequence key = ByteSequence.from("test-key",StandardCharsets.UTF_8);
    watch.watch(key, watchResponse -> {
    
        watchResponse.getEvents().forEach(event -> {

            switch (event.getEventType()) {

                case DELETE:
                    // 当KEY被删除触发
                    break;
                case PUT:
                    // 当key被创建或修改
                    break;
                default:
                    break;
            }
        });;
    });

当然也支持前缀监控、范围监控等监控形式

    Watch watch = etcdClient.getWatchClient();
    ByteSequence key = ByteSequence.from("test-key",StandardCharsets.UTF_8);
    // 前缀
    WatchOption option = WatchOption.newBuilder().isPrefix(true).build();
    // 范围
    // ByteSequence endKey = ByteSequence.from("test-key100",StandardCharsets.UTF_8);
    // WatchOption option = WatchOption.newBuilder().withRange(endKey).build();
    watch.watch(key, option, watchResponse -> {
    
        watchResponse.getEvents().forEach(event -> {

            switch (event.getEventType()) {

                case DELETE:
                    // 当KEY被删除触发
                    break;
                case PUT:
                    // 当key被创建或修改
                    break;
                default:
                    break;
            }
        });;
    });

7 election选主

    Election election = etcdClient.getElectionClient();
    // 代表某个选主活动的key,抢到主的节点会在election key目录下创建一个主节点key
    ByteSequence electionKey = ByteSequence.from("/election", StandardCharsets.UTF_8);
    
    // 节点抢到主时,写入上述创建节点key的值,一般是能标识主节点的唯一标识符
    ByteSequence proposal = ByteSequence.from("member01", StandardCharsets.UTF_8);
    
    // 主节点的租约,租约到期的话,主节点key被删除,主节点失去主地位,其他节点可以重新抢主
    Lease lease = etcdClient.getLeaseClient();
    long leaseId = lease.grant(60).get().getID();
    // 抢到了主,持续保活
    lease.keepAlive(leaseId, new ClusterNodeKeepAliveObserver());
    
    // 竞选主    
    CompletableFuture<CampaignResponse> campaign = election.campaign(electionKey, leaseId, proposal);
    
    // 抢到了主,则正常返回,Leader key可以获取到主节点的key值等信息
    // 没抢到主,则一直阻塞(因为这里用的是阻塞获取,也可以异步获取),或抛出异常
    LeaderKey key = campaign.get().getLeader();

也可以为election设置一个observer,这样主发生变化时,可以收到通知,从而进行相应处理,比如跟踪主的变化,谁是当前的主等

    election.observe(electionKey, new LeaderElectionListener());

    public class LeaderElectionListener implements Election.Listener {

        @Override
        public void onNext(LeaderResponse response) {
            String newLeader = response.getKv().getValue().toString(StandardCharsets.UTF_8);
            log.info("leader is changed. new: {}", newLeader);
        }

        @Override
        public void onError(Throwable t) {
            log.error("leader election failed. exception info: {}", ExceptionUtils.getStackTrace(t));
        }

        @Override
        public void onCompleted() {
            log.trace("leader election completed");
        }
    }

8 分布式lock

    Lock lock = etcdClient.getLockClient();
    
    // 获取到锁的节点租约,租约到期的话,key被删除,其他节点可以重新获取锁
    Lease lease = etcdClient.getLeaseClient();
    long leaseId = lease.grant(60).get().getID();
    // 持续保活
    lease.keepAlive(leaseId, new ClusterNodeKeepAliveObserver());
    
    ByteSequence lockKey = ByteSequence.from("lock_key",StandardCharsets.UTF_8);
    // 尝试获取锁
    CompletableFuture<LockResponse> lockFuture = lock.lock(lockKey, leaseId);
    // 获取到分布式锁,则返回(也可以异步获取锁通知)
    String lockStr = lockFuture.get().getKey().toString(StandardCharsets.UTF_8);
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335

推荐阅读更多精彩内容