容器跨二层主机网络通信

背景介绍

容器技术通过在创建一个linux网络命名空间从而将进程隔离在一个独立的网络环境。但是容器进程之间如何进行网络通信呢?

同一主机内容器间通信

比较容易得做法是,在主机上建一个虚拟网桥,主机上的容器通过veth设备都连接在虚拟网桥上,这样容器发出去的报文能够通过在网桥上广播学到目标veth设备的mac地址,从而进行正常通信
-- 也可以考虑在主机上创建路由表,直接将根据目标ip找到veth设备。(需要维护较多的路由规则)
-- 上文分别是flannel和calico的做法

跨主机容器网络通信

在上文虚拟网桥的基础上,要是两个主机的网桥在同一个网段,两个主机上容器则可以直接通信(前提是两个主机三层是打通的)。如下图,node1和node2上的网桥都是8位掩码


image.png

要是两个主机的网桥不在同一个网段,可以通过路由表打通网络(前提是两个主机在同一个二层,即同一个网段)。如下node上路由的伪代码
ip target: 10.30.0.0/16 gw: 172.0.0.3
ip tartget: 10.20.0.0/16 gw: 172.0.0.2

容器跨交换机网络通信

在上文的基础上,要是node1,node2,node3,node4主机上的网桥在同一个网段,四个主机上的容器则可以直接通信(待验证)
要是四个主机的网桥不在同一个网段(同一个网段即一个大二层,广播效率会比较低)。是否可以通过路由表打通网络呢?答案是否定的,因为172和182是两个交换机下的网络,不在同一个网络,则node1将node3作为路由器,除非在switch上也添加路由规则将目标是182.0.0.0的报文扔到182.0.01交换机上。(但是一般在交换机上配置路由规则比较麻烦)

另一个方案就是打隧道,如图,打一个vxlan隧道,则只要在同一个广播域内,就会收到广播?答案也是否定的,只有在同一个二层内的广播域才会收到广播,则swtich1和switch2需要在同一个网段,可以中间加个路由器或者swtich1和switch2规划在同一个网段。


image.png

如下图所示,为tcp报文被加了一个vxlan头,vxlan头外面又包了一个udp层


image.png

udp报文


image.png

如上结论:三层通,不一定是在同一个网段,可能是通过路由器(或路由表)通的,要是三层通并且在所有节br都在同一个网段,则容器间可以直接通过广播学习,通信(广播范围太大,效率低一般不会这么做)。那么可以规划同一个交换下的主机在同一个网段,同一个主机下的网桥是一个网段,那么同一个交换机下,可以加路由表,容器跨主机可以网络通信。要是跨交换机,主机则跨网段,无法在主机上加路由表,可以考虑网络隧道的方式打通跨网段主机容器网络通信。网络隧道的选择有哪些呢,vxlan比较常见,vlan也是可以的,都是会加一个ip层,但是vlan的id要打在网桥上,vxlan只需打在vtep设备上则更灵活。另外在vxlan做网络隔离的场景,支持1600多万个隔离网络,vlan只支持4000多个,有数量限制。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,454评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,553评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,921评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,648评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,770评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,950评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,090评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,817评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,275评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,592评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,724评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,409评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,052评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,815评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,043评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,503评论 2 361
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,627评论 2 350

推荐阅读更多精彩内容