本文将在虚拟机上通过kubeadm和相关工具安装Kubernetes集群v1.13.2。以下为环境配置:
Win10 1803(OS: 17134.523); VMware 14.1.3
集群 虚拟机配置:
Kubernetes-Master: CentOS7 - 192.168.1.120 - root@k8s-master
Kubernetes-Node1: CentOS7 - 192.168.1.130 - root@k8s-node1
Kubernetes-Node2: CentOS7 - 192.168.1.131 - root@k8s-node2
添加yum.repo源:我这里使用阿里云的镜像源: :
[root@k8s-master ~]# vi /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
更新yum,安装docker和kubeadm以及相关工具。
[root@k8s-master ~]# yum clean all && yum makecache
[root@k8s-master ~]# yum install -y docker kubelet kubeadm kubectl kubernetes-cni
在我们启动docker服务和kubelet服务前,我们需要对环境做出相关配置,否则可能会产生错误:需要关闭防火墙服务并安装iptables;禁用SELinux;关闭swap分区;打开bridge-nf-call-iptables;设置静态IP以供SSH连接使用;最重要的一点,如果你的主机名是默认的localhost.domain,请将其修改为其他名字。当Node主机与Master主机的hostname一致时,Master节点无法正确显示加入的Node节点:
# systemctl disable firewalld && systemctl stop firewalld
# vi /etc/selinux/config 并修改项 SELINUX=disabled
--->setenforce 0只能暂时将SELINUX设为不工作,当系统重启后,SELINUX将重新返回工作状态。
# swapoff -a
# vim /etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
//以下步骤非必要:
# vi /etc/sysconfig/network-scripts/ifcfg-ens32
BOOTPROTO="static"
BROADCAST=...
IPADDR=...
NETMASK=...
GATEWAY=...
#hostnamectl --static set-hostname k8s-Master
#vi /etc/hosts
将localhost.domain 修改为 k8s-Master
#vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=k8s-Master
随后我们启动docker与kubelet服务:
[root@k8s-master ~]# systemctl enable docker && systemctl start docker
[root@k8s-master ~]# systemctl enable kubelet
下载kubernetes的相关镜像:如果无法访问到gcr.io下载相关镜像,我们需要从国内镜像托管站点下载镜像:查看Master节点所需镜像可用命令 $ kubeadm config images list.
docker.io仓库对google的容器做了镜像,可以通过下列命令下拉取相关镜像:Master节点与Node节点所需的镜像可能略微有些不同。在后文我列出了Node节点所需的镜像。
DockerHub for mirrorgooglecontainer
[root@k8s-master ~]# docker pull mirrorgooglecontainers/kube-apiserver-amd64:v1.11.3(版本号自行修改)
[root@k8s-master ~]# docker tag mirrorgooglecontainer/kube-apiserver-amd64:v1.11.3 k8s.gcr.io/kube-apiserver:v1.11.3
以上部分对于Node节点和Master节点而言都是必须要完成的,至此可以将该虚拟机保存命名为linux-k8s-basic并克隆出新虚拟机运行Master和Node节点:
运行kubeadm init 安装master:
这里需要指定两个参数:--kubernetes-version:与手动拉取的docker images版本号相同;--pod-network-cidr:随后我们需要给Master节点安装CNI网络插件:当我们选择Calico(flannel)网络插件时,需要指定其pod-network-cidr=10.244.0.0/16。
[root@k8s-master ~]# kubeadm init --kubernetes-version=1.13.2 --pod-network-cidr=10.244.0.0/16
安装成功后就会得到如下信息:
Your Kubernetes master has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
** mkdir -p $HOME/.kube**
** sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config**
** sudo chown (id -g) $HOME/.kube/config**
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of machines by running the following on each node
as root:
kubeadm join 192.168.1.120:6443 --token oe50fb.0pt36rwvz2utey4d --discovery-toke****n-ca-cert-hash sha256:60bd336002b8f5xxxxxxxxxxxxxxxxxxx17ddeddd6
这里我们选择Calico插件calico - Github:
[root@k8s-master ~]# kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml
[root@k8s-master ~]# kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
PS:选择flannel插件也可行,他的github地址为flannel - Github,其pod-cidr与calico一致:--pod-network-cidr=10.244.0.0/16。下拉至Deploying flannel manually,按照提示安装flannel。如果长时间都没有拉取完镜像,可尝试手动拉取,打开kube-flannel.yml并查看其container image(如我这里的版本为quay.io/coreos/flannel:v0.11.0-amd64)。
验证Kuberletes Master节点的相关Pod是否都正常创建并运行:
[root@k8s-master ~]# kubectl get pods --all-namespaces && kubectl get no
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-node-2mzjg 2/2 Running 0 21h
kube-system calico-node-9c6md 2/2 Running 2 20h
kube-system calico-node-clc9p 2/2 Running 0 21h
kube-system coredns-86c58d9df4-n77bm 1/1 Running 0 21h
kube-system coredns-86c58d9df4-t4fns 1/1 Running 0 21h
kube-system etcd-k8s-master 1/1 Running 0 21h
kube-system kube-apiserver-k8s-master 1/1 Running 0 21h
kube-system kube-controller-manager-k8s-master 1/1 Running 0 21h
kube-system kube-proxy-ck72v 1/1 Running 1 20h
kube-system kube-proxy-n2rvf 1/1 Running 0 21h
kube-system kube-proxy-nzfvg 1/1 Running 0 21h
kube-system kube-scheduler-k8s-master 1/1 Running 0 21h
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 21h v1.13.2
创建Node节点:
Node端需要下载的镜像
[root@k8s-master ~]# docker pull mirrorgooglecontainers/kube-proxy-amd64:v1.13.2
[root@k8s-master ~]# docker pull mirrorgooglecontainers/pause-amd64:3.1
[root@k8s-master ~]# docker pull carlziess/coredns-1.2.6
[root@k8s-master ~]# docker tag ...
在没有执行kubeadm join命令之前,kubelet.service是无法正常启动的。可以通过命令
[root@k8s-master ~]# journalctl -xefu kubelet
来查看出错原因。我们执行kubeadm join命令。该命令与Master节点安装成功后提供的命令相一致。加入节点成功后,可以发现kubelet.service正常启动,在Node节点与Master节点的主机名不同的情况下,Master节点会显示新加入的Node。
[root@k8s-master ~]# kubectl get no
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 167m v1.13.2
k8s-node1 Ready <none> 154m v1.13.2
k8s-node2 Ready <none> 134m v1.13.2
更多在安装过程的排错日志参考:k8s v1.13.2 安装排错日志 - 简书
[root@k8s-master ~]$ rpm -ql kubelet
/etc/kubernetes/manifests //static pods yaml
/etc/sysconfig/kubelet //KUBELET_EXTRA_ARGS
/etc/systemd/system/kubelet.service //kubelet.service (./kubelet.service.d/10-kubeadm.conf)
/usr/bin/kubelet
KUBELET_KUBEADM_ARGS:/var/lib/kubelet/kubeadm-flags.env
KUBELET_EXTRA_ARGS:/etc/sysconfig/kubelet
参考:
Unable to update cni config: No networks found in /etc/cni/net.d · Issue #54918 · kubernetes/kubernetes · GitHub //事实上,我在这一步卡了很久,报错内容也与该Issus大致相同。但最后是因为机器重启后SELinux又重新开启导致的。
Creating a single master cluster with kubeadm - Kubernetes //官方文档:使用kubeadm安装Master节点。//好像可以把语言换成中文??
docker - Kubernetes api server is not starting on a single kubeadm cluster - Stack Overflow //最终我是使用该方法完成Master节点的组件的。
Installing Addons - Kubernetes //官方文档:CNI网络插件。//同上??
kubeadm 生成的token过期后,集群增加节点 - discsthnew的博客 - CSDN博客 //token的有效期为24h。
《Kubernetes 权威指南——从Docker到Kubernetes实践全接触》纪念版