备注:本文内容承接“kubernets集群搭建实操”,对网络部分进行补充描述。
总体描述:在搭建容器集群后,容器之间的通讯必须实现跨网络,这样存在网络路由的问题,解决方案包括OVS、flannel、socketplane,本文采用flannel方案。
架构
涉及到的功能组件包括etcd、flannel和docker。
etcd负责维护共享数据,统一管理各节点的网络标识和子网编码;
flannel实现一块虚拟网卡,负责docker与外网之间的路由;
docker实现一块虚拟网卡,负责和flannel网卡通讯;
etcd
etcdctl set /coreos.com/network/config '{ "Network" : "10.1.0.0/16" }'
通过上述命令,设置集群中,分配给flannel的网络编码。
flannel把自身的子网编码提交到etcd,用于全局保存。通过ls /coreos.com/network/subnets,可以看到如下信息(三个flannel节点提交):
/coreos.com/network/subnets/10.1.99.0-24
/coreos.com/network/subnets/10.1.9.0-24
/coreos.com/network/subnets/10.1.33.0-24
flannel
Flannel实质上是一种“覆盖网络(overlay network)”,也就是将TCP数据包装在另一种网络包里面进行路由转发和通信,目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。
ExecStart=/usr/bin/flanneld-start -etcd-endpoints=${FLANNEL_ETCD} -etcd-prefix=${FLANNEL_ETCD_KEY} $FLANNEL_OPTIONS
上面是flannel服务启动时的执行命令,其中定义了etcd的位置,etcd中保存‘Network’键的路径。执行后,从etcd获取到网络编码‘10.1.0.0/16’,并根据网络编码生成一个子网编码,并把这两个信息保存到/run/flannel/subnet.env中,文件内容如下:
FLANNEL_NETWORK=10.1.0.0/16
FLANNEL_SUBNET=10.1.33.1/24
FLANNEL_MTU=1472
FLANNEL_IPMASQ=false
之后,把子网编码保存到etcd中。
docker
启动docker服务时,指定bip参数:--bip=${FLANNEL_SUBNET},表示对docker的网络参数进行配置。其中的FLANNEL_SUBNET变量保存在/run/flannel/subnet.env文件中。
其中FLANNEL_SUBNET:‘10.1.33.1’可以当做docker的网关地址。
启动顺序
按照上面的关联关系,组件启动必须按照一定顺序:etcd->flannel->docker
虚拟网卡地址信息
ip a s docker0
ip a s flannel
跨物理机的容器通讯数据流图
参考资料
DockOne技术分享(十八):一篇文章带你了解Flannel
//www.greatytc.com/writer#/notebooks/15458030/notes/15965503