最近项目遇到一个问题，直播系统采用k8s集群部署，用到了nginx作缓存。
使用默认k8s部署时，服务的pod的ip地址是变化的，这就会导致清理缓存的时，无法获取正确的ip地址，从而导致nginx缓存无法清理。
这种情况下有2种方案解决：
- k8s pod 使用固定ip
- 遍历k8s nginx pod的ip进行清理
由于方案1 存在一个问题，当nginx服务器增加时，同时也需要修改清理缓存的服务器，因此采用方案2来解决这个问题。
具体步骤如下：
- 添加依赖
下图是k8s和java client依赖的对应关系表
image.png
由于当前环境k8s版本时1.16，因此maven依赖如下
<dependency>
<groupId>io.kubernetes</groupId>
<artifactId>client-java</artifactId>
<version>8.0.2</version>
</dependency>
- 具体实现逻辑
package com.jd.mt.trade.platform.service.impl;
import com.alibaba.fastjson.JSON;
import com.jd.mt.trade.platform.service.K8sPodService;
import io.kubernetes.client.openapi.ApiClient;
import io.kubernetes.client.openapi.Configuration;
import io.kubernetes.client.openapi.apis.CoreV1Api;
import io.kubernetes.client.openapi.models.V1Pod;
import io.kubernetes.client.openapi.models.V1PodList;
import io.kubernetes.client.util.ClientBuilder;
import io.kubernetes.client.util.KubeConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.util.ResourceUtils;
import java.io.File;
import java.io.FileReader;
import java.util.List;
import java.util.Objects;
import java.util.stream.Collectors;
/**
* @Author: huangyichun
* @Date: 2021/3/31
*/
@Slf4j
@Service
public class K8sPodServiceImpl implements K8sPodService {
@Value("${k8s.config.label}")
private String nginxPodLabel;
@Override
public List<String> queryNginxIps() {
try {
//读取k8s证书的config配置文件
File file = ResourceUtils.getFile("/export/Packages/csa-palteform/latest/config/k8sConfigFile");
//创建客户端， 如果服务是部署在k8s中，并且有权限。可以使用ClientBuilder.defaultClient()创建客户端
ApiClient client = ClientBuilder.kubeconfig(KubeConfig.loadKubeConfig(new FileReader(file))).build();
Configuration.setDefaultApiClient(client);
CoreV1Api api = new CoreV1Api();
//根据标签查询对应的pod
V1PodList list = api.listPodForAllNamespaces(null, null, null, nginxPodLabel, null, null, null, null, null);
List<V1Pod> items = list.getItems();
List<String> collect = items.stream().map(pod -> Objects.requireNonNull(pod.getStatus()).getPodIP()).collect(Collectors.toList());
log.info("nginx ips ={}", JSON.toJSONString(collect));
return collect;
} catch (Exception e) {
log.error("nginx ip get error:", e);
}
return null;
}
}
- 单元测试
package com.jd.mt.trade.platform.service;
import com.jd.mt.trade.platform.BaseTest;
import org.junit.Test;
import org.springframework.beans.factory.annotation.Autowired;
import java.util.List;
/**
* @Author: huangyichun
* @Date: 2021/3/31
*/
public class K8sPodServiceTest extends BaseTest {
@Autowired
private K8sPodService k8sPodService;
@Test
public void queryNginxIps() {
List<String> list = k8sPodService.queryNginxIps();
System.out.println(list);
}
}
输出：
[10.0.0.82]
