当今时代，上云是一个很潮流的词语，企业的服务或者个人的数据都可以放到各大公共云上。但对我个人而言，我喜欢通用、自由的环境，不希望被哪个云绑死（其实是希望白嫖各种新人折扣）。
同时呢，云原生也是当下最火的概念。Kubernetes的技术，给了技术领域一整套标准化的环境，你可以基于它任意切换云服务。所以这个系列文章，我来分享如何打造完善的个人私有云系统。
前置条件
既然是个人私有云，那么其实整套环境是基于家里的硬件和家庭宽带为中心来组建的，通过k8s的技术可以把各个云厂商白嫖来的服务器打造成一套集群体系。
本次教程硬件资源：一台树莓派，一台阿里云服务器、一台腾讯云轻应用服务器。既然是云服务，那就得7×24小时运行，树莓派是一个非常合适的设备。另外，需要有一个公网ip（现在的运营商一般都不会给你公网ip了，可以直接打电话说需要在家里安装摄像头，然后就能获得公网ip），并且在路由器中设置端口转发到树莓派。
-
整体架构图
-
使用的技术
K3S是一个轻量级Kubernetes发行版，特别适合边缘计算和云边端架构，也可以作为标准K8S集群使用。
FabEdge是一个专门针对边缘计算场景设计的，基于kubernetes的容器网络方案，它符合CNI规范，可以无缝集成任何K8S环境，解决边缘计算场景下云边协同，边边协同，服务发现等难题。
部署K3S集群
- 安装master，在树莓派执行
#安装docker，已安装过docker可以跳过这步
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
#安装k3s master，使用 ${公网ip} 和 docker运行时
curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC='--docker' sh -s - --node-external-ip ${公网ip}
#部署成功后可查看
kubectl get po -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-7448499f4d-9ljl8 1/1 Running 0 113s
kube-system metrics-server-86cbb8457f-4b8wn 1/1 Running 0 113s
kube-system local-path-provisioner-5ff76fc89d-bwhcv 1/1 Running 0 113s
kube-system helm-install-traefik-crd-tpvv8 0/1 Completed 0 114s
kube-system svclb-traefik-8zfbw 2/2 Running 0 108s
kube-system helm-install-traefik-szn6g 0/1 Completed 1 114s
kube-system traefik-97b44b794-fhd5g 1/1 Running 0 108s
#查看token，节点join使用
cat /var/lib/rancher/k3s/server/node-token
tokenxxxxxx
- 安装node，在两台云服务器分别执行
#安装docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
#使用token加入集群，并去除flannel组件
curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC='--docker --flannel-backend none' K3S_URL=https://${公网ip}:6443 K3S_TOKEN=tokenxxxxxx sh -
#加入集群成功之后
kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 11m v1.22.7+k3s1
nodename1 Ready <none> 25s v1.22.7+k3s1
nodename2 Ready <none> 25s v1.22.7+k3s1
#配置kubectl与apiserver的认证
mkdir -p $HOME/.kube
sudo cp -f /etc/rancher/k3s/k3s.yaml $HOME/.kube/config
- 这样一个以私有云为中心的集群就组建好了，但是现在还没有网络访问的能力，接下来需要部署fabedge，另外获取集群配置信息，使用的是K3S默认配置
cluster-cidr : 10.42.0.0/16
service-cluster-ip-range : 10.43.0.0/16
- 安装helm，k3s已经自带了helm，也可以在官网进行安装。
安装部署FabEdge
- 为所有边缘节点添加标签
kubectl label no --overwrite=true nodename1 node-role.kubernetes.io/edge=
node/nodename labeled
kubectl label no --overwrite=true nodename2 node-role.kubernetes.io/edge=
node/nodename labeled
kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 26m v1.22.7+k3s1
nodename1 Ready edge 15m v1.22.7+k3s1
nodename2 Ready edge 15m v1.22.7+k3s1
2.安装FabEdge
$ curl 116.62.127.76/installer/v0.5.0/install.sh | bash -s -- --cluster-name yourcluster --cluster-role host --cluster-zone beijing --cluster-region china --connectors master --connector-public-addresses ${公网ip} --chart http://116.62.127.76/fabedge-0.5.0.tgz
说明：
--cluster-name: 集群名称
--cluster-role: 集群角色
--cluster-zone： 集群所在的区
--cluster-region：集群所在的区域
--connectors: connectors所在节点主机名
--connector-public-addresses: connectors所在节点的ip地址，从边缘节点必须网络可达
如果出现错误：“Error: cannot re-use a name that is still in use”，是因为fabedge helm chart已经安装，使用以下命令卸载后重试。
$ helm uninstall -n fabedge fabedge release "fabedge" uninstalled
部署后验证
- 在树莓派上确认FabEdge服务正常
kubectl get po -n fabedge
NAME READY STATUS RESTARTS AGE
fabedge-operator-5b97448c9b-zl5zg 1/1 Running 0 3m1s
fabedge-agent-nodename1 2/2 Running 0 2m58s
fabedge-agent-nodename2 2/2 Running 0 2m58s
fabedge-connector-54db9b587d-ccnn6 2/2 Running 0 3m1s
service-hub-78dd7d4b7-k8q4m 1/1 Running 0 3m1s
fabdns-848bb4b85f-4kd6w 1/1 Running 0 3m1s
- 部署我们的应用pod之前，需要配置好FabEdge，之前创建的pod需要删除重建才能连通
K8S控制面板
- 有了后台集群，除了命令行操作，如果有界面会更加方便。
- 安装Kuboard这个集群管理界面，所有yaml操作都可以在界面上可视化实现。
总结
- 有了这样一套容器化的个人集群环境，我们就可以尽情部署自己鼓捣的应用了，可以将服务部署到大量的云服务器节点上，在家庭网络中直接访问（利用公网ip加路由器端口转发，也可以在任何地方直接访问自己集群中的服务，想想都很开心）
- 并且基于K8s的弹性扩缩容和服务的动态迁移自愈能力，云服务器到期后，我们可以随意删除并添加新的白嫖服务器（各种云厂商活动），这样我们的私有云是一套自由开放的云。。。
- 最后，这套环境还有亿点点小问题，那就是就算运营商真的相信了你的鬼话，给了你公网ip，那也是个动态的，隔一段时间会变化。需要对集群做一些小修改才能恢复，但是这样我们的私有云就不是完美的了。所以下一期，我们利用WireGuard来实现另一套方案。敬请期待。。。
