软硬件要求
| 软硬件 | 最低配置 | 推荐配置 |
|---|---|---|
| CPU 和 内存 | Master：至少2核4G、 Node：至少4核16G |
Master：4核16G、 Node：根据运行的容器数量进行配置 |
| Linux 操作系统 | 基于 x86_64 架构的各种Linux 发行版，Kernel 3.10 以上 | Red Hat Linux 7 CentOS 7 |
| etcd | 3.0 版本及以上 | 3.3 版本 |
| Docker | 18.03 版本及以上 | 18.09 版本 |
机器准备
| 角色 | 主机名称 | 内网 IP | 配置 | 系统 |
|---|---|---|---|---|
| Master | KubernetesMaster | 192.168.0.123 | 2 核 4 G | CentOS 7.6.5 |
| Node | KubernetesNode1 | 192.168.0.122 | 2 核 4 G | CentOS 7.6.5 |
| Node | KubernetesNode2 | 192.168.0.121 | 2 核 4 G | CentOS 7.6.5 |
注：这里只是做环境测试，故只满足了官方要求的最低 2 核 2 G
部署步骤说明
使用 kubeadm 部署 kubernetes 主要有以下四个步骤：
- 安装 Docker （所有主机）
- 安装 Kubeadm（所有主机）
- 基础环境配置（所有主机）
- 创建 Kubernetes 集群
一. 安装 Docker（所有主机）
安装 Docker 引擎，主要执行以下步骤：
- 安装 Docker 需要的一些系统工具
- 设置 Docker 的 yum 仓库源
- 安装并启动 Docker
- 调整 Docker 部分参数（主要是配合 Kubernetes 的一些配置）
-
安装必要的一些系统工具
yum install -y yum-utils device-mapper-persistent-data lvm2 -
设置 Docker 的 yum 仓库源
-
官方源（二选一）：
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo -
阿里云源（二选一）：
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
-
-
安装并启动 Docker
yum install -y docker-ce systemctl start docker && systemctl enable docker -
调整 Docker 部分参数
这里主要做两点调整：- 配置国内镜像加速（国内的各种原因，可能导致拉取镜像像蜗牛一样。。。）
- 修改 cgroup 驱动（Docker 默认使用 cgroupfs，Kubernetes 官方推荐 systemd）
mkdir -p /etc/docker tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://pcy9sknd.mirror.aliyuncs.com"], "exec-opts": ["native.cgroupdriver=systemd"] } EOF systemctl daemon-reload && systemctl restart docker注：这里采用的是阿里云的镜像源，当然你也可以选择：中科大、网易、DaoCloud（还有个号称中国官方的源，但实测好像没什么卵用）
二. 安装 Kubeadm（所有主机）
安装 Kubeadm 主要有以下三个步骤：
- 配置 Kubernetes 的 yum 仓库源（这里选用阿里的源，你懂的）
- 安装 Kubeadm 和相关工具
- 启动 Kubelet
-
设置 Kubernetes 的 yum 仓库源
-
阿里云源（推荐）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF' [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF -
官方源（不推荐）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF' [kubernetes] name=Kubernetes baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg exclude=kube* EOF
-
-
安装 Kubeadm 和相关工具
yum install -y kubelet kubeadm kubectl --nogpgcheck -
启动 Kubelet
systemctl start kubelet && systemctl enable kubelet
三. 基础环境配置（所有主机）
基础环境配置，主要执行以下步骤：
- 设置各节点时间精确同步
- 关闭 firewalld/iptables 防火墙
- 关闭 SElinux 安全模组
- 关闭 Swap 交换分区
- 导入 IPVS 模块
- 修改 Bridge 桥接规则
- 开启 iptables 的 FORWARD 转发链
- 配置 Hosts 解析
-
设置各节点时间精确同步
systemctl start chronyd.service && systemctl enable chronyd.service -
关闭 firewalld 防火墙（允许 master 和 node 的网络通信）
由于 Master 和 Node 存在大量网络交互，需对防火墙进行相关配置- 外网环境：在防火墙上配置各组件相互通信的端口
- 内网环境：直接关闭防火墙，减少防火墙规则的维护工作
systemctl stop firewalld && systemctl disable firewalld -
关闭 SElinux 安全模组（让容器可以读取主机的文件系统）
setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config -
关闭 Swap 交换分区（启用了 Swap，则 Qos 策略可能会失效）
swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab -
导入 IPVS 模块（用来为大量服务进行负载均衡）
cat > /etc/sysconfig/modules/ipvs.modules <<EOF #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4 -
修改 Bridge 桥接规则（部分 Docker 安装时会为我们修改，这里统一进行手动修改）
cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 vm.swappiness=0 EOF sysctl --system -
开启 iptables 的 FORWARD 转发链（Docker 1.13 后禁用了 FORWARD 链，这可能会引起 Pod 间无法通信）
iptables -P FORWARD ACCEPT sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service systemctl daemon-reload -
配置 Hosts 解析（添加 k8s 所有节点的 IP 和对应主机名，否则初始化的时候会出现告警甚至错误）
tee /etc/hosts <<-'EOF' ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.0.123 kube-master 192.168.0.122 kube-node1 192.168.0.121 kube-node2 EOF -
安装一些必要的工具（这些工具在以后的命令中会用到）
yum install -y ipset ipvsadm bind-utils
四. 创建 Kubernetes 集群
创建 Kubernetes 集群主要有两个步骤：
- 初始化 Master 节点
- 初始化 Node 节点
1. 初始化 Master 节点
初始化 Master 节点，主要有四个步骤：
- 执行初始化
- 复制(分发)配置文件
- 安装 CNI 网络插件
- 检查 Master 的 Pod 及 集群状态
-
执行初始化
-
自定义配置较少时：推荐使用
配置参数的方式进行初始化kubeadm init --kubernetes-version=v1.15.0 \ --pod-network-cidr=<network-segment> \ --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers -
自定义配置较多时，推荐使用
配置文件的方式进行初始化：- 使用
kubeadm config print init-defaults > kubeadm-init.yaml获取初始配置文件进行相应的自定义修改 - 然后使用
kubeadm init --config kubeadm-init.yaml，通过配置文件进行初始化
# 修改初始化配置文件 cat > master-init.yaml << EOF apiVersion: kubeadm.k8s.io/v1beta2 kind: InitConfiguration localAPIEndpoint: advertiseAddress: 192.168.0.123 bindPort: 6443 --- apiVersion: kubeadm.k8s.io/v1beta2 imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers kind: ClusterConfiguration kubernetesVersion: v1.15.0 networking: dnsDomain: cluster.local podSubnet: <network-segment> EOF # 执行初始化 kubedam init --master-init.yaml - 使用
注意：
初始化之后会安装网络插件，由于各个网络插件使用的网段不一样，
故需对 命令中的--pod-network-cidr=<network-segment>或文件中的podSubnet: <network-segment>进行自定义配置，
（Calico 的默认网段：192.168.0.0/16，Flannel 的默认网段：10.244.0.0/16）
拉取不到镜像时，使用kubeadm config images pull提前拉取镜像
输出以下内容表示成功：Your Kubernetes control-plane has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: kubeadm join 192.168.0.123:6443 --token b0syjo.7q877s663mc1rbni \ --discovery-token-ca-cert-hash sha256:cdbcbb721002cac7a7b347295922eabe65342e111a67d7f7acce50d0d9d8f27f // 上面一句是 Node 节点加入集群的命令，记得保存一下 -
-
按照提示，复制配置文件到普通用户目录
-
非 root 用户
# 拷贝配置文件到 Master 节点 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config # 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`） scp /etc/kubernetes/admin.conf KubernetesNode1:~/.kube/config scp /etc/kubernetes/admin.conf KubernetesNode2:~/.kube/config # 记得在 Node 上进行授权，sudo chown $(id -u):$(id -g) $HOME/.kube/config -
root 用户
# 拷贝配置文件到 Master 节点 mkdir /root/.kube cp -i /etc/kubernetes/admin.conf /root/.kube/config # 分发配置文件到各 Node 节点（让 Node 节点使用 `kubectl`） scp /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config scp /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config
-
-
安装 CNI 网络插件
-
Flannel 插件
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml参考：Flannel Github - README.md
-
Calico 插件
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml参考：Calico 官方文档 - Quickstart for Calico on Kubernetes
更多 CNI 插件可以参考：Kubernetes 官方文档提供的教程 - Installing Addons
-
-
检查 Master 的 Pod 及 集群状态
- 使用
kubectl get pod -n kube-system -o wide，查看 Pod 状态均为Runing即可 - 使用
kubectl get node -o wide，查看 Node 状态为Ready表示 Master 初始化完成
- 使用
2. 初始化 Node 节点
初始化 Node 节点就比较简单了，只有两步，即：
- 执行初始化
- 检查 Node 的 Pod 及 集群状态
-
初始化 Node
使用 Master 初始化时的命令进行初始化即可，Node 节点初始化后，就直接加入了集群kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<sha256>注意：没有记录集群 join 命令的可以通过以下方式重新获取
sudo kubeadm token create --print-join-command --ttl=0 -
检查 Node 的 Pod 及 集群状态
- 使用
kubectl get pod -n kube-system -o wide，查看 Pod 状态均为Runing即可 - 使用
kubectl get node -o wide，查看 所有节点 状态均为Ready表示 Master 初始化完成
- 使用
五. 重置 Kubernetes 集群
在集群安装失败，或者出现一些无法解决的问题时，可以重置集群，再重新安装
重置 Kubernetes 集群，主要的执行步骤如下：
- kubeadm 集群重置
- iptables 规则清理
- ipvs 规则清理
- kubernetes 配置文件清理
- etcd 配置清理
- cni 网络插件清理
废话不多说，直接撸代码
kubeadm reset
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm --clear
rm -rf ~/.kube
rm -rf /var/lib/etcd
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
参考：
https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/
https://k8smeetup.github.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
centos7使用kubeadm安装部署kubernetes 1.14 - Adrian·Ding - 博客园
CentOS7中用kubeadm安装Kubernetes-云栖社区-阿里云
