查看k8s中所有证书的到期时间：
kubeadm alpha certs check-expiration
查看CA证书过期时间:
openssl x509 -in /etc/kubernetes/pki/ca.crt -noout -text |grep Not
查看集群证书过期时间:
openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text |grep ' Not '
如果集群证书还没有过期
获取一个创建好的 k8s集群的初始化配置文件
kubeadm config view > kubeadm.yaml
如果证书已经过期了：
vim kubeadm.yaml
sion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
kubernetesVersion: v1.15.0 # kubernetes 版本
apiServer:
certSANs:
- 192.168.10.xxx # master 所有节点IP地址，包括master和slave
- 192.168.10.xxx # slave1
- 192.168.10.xxx # slave2
extraArgs:
service-node-port-range: 80-32767
advertise-address: 0.0.0.0
controlPlaneEndpoint: "192.168.10.xxx:6443" # APIserver 地址,也就是master节点地址
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers #这里使用国内阿里云的镜像仓库
或者更简单的：
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
kubernetesVersion: v1.13.5 #--------这里改成你集群对应的版本
imageRepository: k8s.gcr.io #-------k8s官方的镜像仓库
重新生成默认一年时长证书
在集群已经部署好的情况下集群的证书过期，可以选择对证书进行重新生成。
单master或多master集群(etcd在集群内)处理：
1)、备份原先的证书文件和配置文件：
cp -rp /etc/kubernetes /etc/kubernetes.bak
2)、删除过期的证书文件：
（注意：1.13.0以下的版本需要删除旧的证书，不然不会重新生成，1.13.5以上的就不用操作了会自动更新的。ca.cer\ca.key\sa的这些证书不要删除ca默认就是10年没必要重新生成，同时kubeadm在重新生成apiserver这些组件的证书的时候需要使用ca证书来进行签发）
$ rm -f /etc/kubernetes/pki/apiserver*
$ rm -f /etc/kubernetes/pki/front-proxy-client.*
$ rm -rf /etc/kubernetes/pki/etcd/healthcheck-client.*
$ rm -rf /etc/kubernetes/pki/etcd/server.*
$ rm -rf /etc/kubernetes/pki/etcd/peer.*
3)、获取k8s集群初始化的配置文件yaml文件：
kubeadm config view > kubeadm.yaml
4)、生成新的证书文件
生成证书有两种方式一种是重新生成私钥和公钥，一种是使用存在的私钥重新签发。
生成相应组件的证书（此格式会使用相应组件的原来的key重新签发证书）:
$kubeadm alpha phase certs renew etcd-healthcheck-client --config kubeadm.yaml
$kubeadm alpha phase certs renew etcd-peer --config kubeadm.yaml
$kubeadm alpha phase certs renew etcd-server --config kubeadm.yaml
$kubeadm alpha phase certs renew front-proxy-client--config kubeadm.yaml
$kubeadm alpha phase certs renew apiserver-etcd-client --config kubeadm.yaml
$kubeadm alpha phase certs renew apiserver-kubelet-client --config kubeadm.yaml
$kubeadm alpha phase certs renew apiserver --config kubeadm.yaml
##或者重新签发全部组件的证书
$kubeadm alpha phase certs renew all --config kubeadm.yaml
kubeadm alpha certs renew all --config=kubeadm.yaml #我用的这个，上边那个我的平台运行失败。
或如下格式（这种格式需要删除原来存在的相应证书和key，此格式会重新创建相应组件的私钥和公钥）：
$kubeadm init phase certs apiserver --config kubeadm.yaml
生成新的配置文件(admin.conf、controller-manager.conf、kubelet.conf、scheduler.conf):
mv /etc/kubernetes/*.conf ~/.
kubeadm alpha phase kubeconfig all --config kubeadm.yaml
或如下格式重新生成相关组件的配置文件：
kubeadm init phase kubeconfig all --config kubeadm.yaml #我用的这个
将新生成的admin.conf文件覆盖掉.kube/config文件:
mv $HOME/.kube/config $HOME/.kube/config.old
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
chmod 644 $HOME/.kube/config
5)、重启kube-apiserver,kube-controller,kube-scheduler,etcd这4个容器：(一定要ps -a要不有可能服务容器没启动)
docker ps -a | grep -v pause | grep -E "etcd|scheduler|controller|apiserver" | awk '{print $1}' | awk '{print "docker","restart",$1}' | bash
6）、各节点重启kubelet或相关组件:
systemctl restart kubelet
注意：若集群式采用高可用ha方式安装的话有所区别，etd的相关证书需要另外签发操作，要是之前搭建集群的时候已经使用了长时间的则仅仅需要处理k8s其它组件的证书即可。
再查看证书过期时间已经更新了。
参考文档
//www.greatytc.com/p/289c62200818
https://www.cnblogs.com/skymyyang/p/11093686.html
https://blog.51cto.com/u_12988868/2587697
//www.greatytc.com/p/cdffaff82a34
客户端kubelet证书轮换自动续期：
kubectl证书轮换是在当前证书即将过期时，将自动生成新的密钥，并从k8s api申请新的证书。
kubelet 进程接收 --rotate-certificates 参数，该参数决定 kubelet 在当前使用的证书即将到期时，是否会自动申请新的证书。 由于证书轮换是 beta 特性，必须通过参数 --feature-gates=RotateKubeletClientCertificate=true 进行启用。
kube-controller-manager 进程接收 --experimental-cluster-signing-duration 参数，该参数控制证书签发的有效期限。
当 kubelet 启动时，如被配置为自举（使用--bootstrap-kubeconfig 参数），kubelet 会使用其初始证书连接到 Kubernetes API ，并发送证书签名的请求。 可以通过以下方式查看证书签名请求的状态：
$kubectl get csr
最初，来自节点上 kubelet 的证书签名请求处于 Pending 状态。 如果证书签名请求满足特定条件， 控制管理器会自动批准，此时请求会处于 Approved 状态。 接下来，控制器管理器会签署证书， 证书的有效期限由 --experimental-cluster-signing-duration 参数指定，签署的证书会被附加到证书签名请求中。
Kubelet 会从 Kubernetes API 取回签署的证书，并将其写入磁盘，存储位置通过 --cert-dir 参数指定。 然后 kubelet 会使用新的证书连接到 Kubernetes API。
当签署的证书即将到期时，kubelet 会使用 Kubernetes API，发起新的证书签名请求。 同样地，控制管理器会自动批准证书请求，并将签署的证书附加到证书签名请求中。 Kubelet 会从 Kubernetes API 取回签署的证书，并将其写入磁盘。 然后它会更新与 Kubernetes API 的连接，使用新的证书重新连接到 Kubernetes API。
1)、开启证书轮换：
修改kubelet启动配置文件增加如下参数
在/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf增加如下参数:
Environment="KUBELET_EXTRA_ARGS=--feature-gates=RotateKubeletServerCertificate=true --feature-gates=RotateKubeletClientCertificate=true"
修改kube-controller-manager.yaml配置文件
在/etc/kubernetes/manifests/kube-controller-manager.yaml 添加如下参数:
- command:
- kube-controller-manager
- --experimental-cluster-signing-duration=87600h0m0s #10年
- --feature-gates=RotateKubeletServerCertificate=true
- ....
创建 rbac 对象
创建rbac对象，允许节点轮换kubelet server证书：
vim kubelet-ca-update.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
annotations:
rbac.authorization.kubernetes.io/autoupdate: "true"
labels:
kubernetes.io/bootstrapping: rbac-defaults
name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
rules:
- apiGroups:
- certificates.k8s.io
resources:
- certificatesigningrequests/selfnodeserver
verbs:
- create
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: kubeadm:node-autoapprove-certificate-server
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
subjects:
- apiGroup: rbac.authorization.k8s.io
kind: Group
name: system:nodes
kubectl create -f kubelet-ca-update.yaml
