背景介绍
容器技术通过在创建一个linux网络命名空间从而将进程隔离在一个独立的网络环境。但是容器进程之间如何进行网络通信呢?
同一主机内容器间通信
比较容易得做法是,在主机上建一个虚拟网桥,主机上的容器通过veth设备都连接在虚拟网桥上,这样容器发出去的报文能够通过在网桥上广播学到目标veth设备的mac地址,从而进行正常通信
-- 也可以考虑在主机上创建路由表,直接将根据目标ip找到veth设备。(需要维护较多的路由规则)
-- 上文分别是flannel和calico的做法
跨主机容器网络通信
在上文虚拟网桥的基础上,要是两个主机的网桥在同一个网段,两个主机上容器则可以直接通信(前提是两个主机三层是打通的)。如下图,node1和node2上的网桥都是8位掩码
要是两个主机的网桥不在同一个网段,可以通过路由表打通网络(前提是两个主机在同一个二层,即同一个网段)。如下node上路由的伪代码
ip target: 10.30.0.0/16 gw: 172.0.0.3
ip tartget: 10.20.0.0/16 gw: 172.0.0.2
容器跨交换机网络通信
在上文的基础上,要是node1,node2,node3,node4主机上的网桥在同一个网段,四个主机上的容器则可以直接通信(待验证)
要是四个主机的网桥不在同一个网段(同一个网段即一个大二层,广播效率会比较低)。是否可以通过路由表打通网络呢?答案是否定的,因为172和182是两个交换机下的网络,不在同一个网络,则node1将node3作为路由器,除非在switch上也添加路由规则将目标是182.0.0.0的报文扔到182.0.01交换机上。(但是一般在交换机上配置路由规则比较麻烦)
另一个方案就是打隧道,如图,打一个vxlan隧道,则只要在同一个广播域内,就会收到广播?答案也是否定的,只有在同一个二层内的广播域才会收到广播,则swtich1和switch2需要在同一个网段,可以中间加个路由器或者swtich1和switch2规划在同一个网段。
如下图所示,为tcp报文被加了一个vxlan头,vxlan头外面又包了一个udp层
udp报文
如上结论:三层通,不一定是在同一个网段,可能是通过路由器(或路由表)通的,要是三层通并且在所有节br都在同一个网段,则容器间可以直接通过广播学习,通信(广播范围太大,效率低一般不会这么做)。那么可以规划同一个交换下的主机在同一个网段,同一个主机下的网桥是一个网段,那么同一个交换机下,可以加路由表,容器跨主机可以网络通信。要是跨交换机,主机则跨网段,无法在主机上加路由表,可以考虑网络隧道的方式打通跨网段主机容器网络通信。网络隧道的选择有哪些呢,vxlan比较常见,vlan也是可以的,都是会加一个ip层,但是vlan的id要打在网桥上,vxlan只需打在vtep设备上则更灵活。另外在vxlan做网络隔离的场景,支持1600多万个隔离网络,vlan只支持4000多个,有数量限制。