Linux套接口缓存——sk_buff

在拥有复杂功能的现代操作中,对数据包的存储要求是非常严格的。因为其中涉及数据包在不同网络层之间传递,需要灵活增减包头,以及移动过程中尽可能避免拷贝。这在linux网络系统中,使用sk_buff数据结构来承担传递数据包的功能,也有些地方简写做SKB。

SKB的操作函数和宏涉及以下文件:
inlude/linux/skbuff.h,SKB结构定义和SKB宏。
net/core/skbuff.c,操作SKB的函数。

SKB的数据结构定义非常长,有100多行,但这里要讲的是其中真正需要注意的有五个变量:

unsigned char *head     用于指向数据包的开始
unsigned char *data      用于指向数据包载荷的开始
unsigned char *tail      用于指向数据包载荷的结束
unsigned char *end      用于指向数据包的结束
unsigned int len      数据包包含的数据量

它在实际应用中是这样发挥作用的。设skb指向一个sk_buff,当数据包穿过协议栈各层时,skb->head,skb->data,skb->tail以及skb->end在数据包相关缓冲区上移动。如下图所示,指向正在处理数据包的协议栈头部。当一个数据包到达mac层时,skb->data指向以太网帧头部,当数据包继续到达IP层时,skb->data就移到IP头部的起始处。与此同时,skb->len也会更新。

skb->data在不同网络层的变化.png

这样的设计就是为了便于SKB数据结构在不同层之间灵活地增删头部,另外它还是一个双向链表,便于把不同的SKB串联起来,这也是Linux网络处理的一个优化,叫做“聚合分散IO”,也就是Linux网络处理中的零拷贝。由于有些报文发送时,会有多个分片,如果依次拷贝这些分片组装成一个单块,就会存在从用户空间多次内存拷贝到内核空间巨大的开销。因此聚合分散IO的想法就是在SKB上标注分片数目,将其他分片链接到第一个,在此过程中只拷贝记录分片数据位置和长度的数据缓存区到SKB中,而避免多次的数据包拷贝,而后由DMA模块直接将数据从内核缓冲区传递给协议模块。

了解了SKB在不同网络层之间的传递,那么在网卡收到数据包的时候,SKB的分配和接收数据包流程又是怎样呢。在此需要先介绍几个与SKB接收数据包相关的函数:dev_alloc_skb()、skb_reserve()、skb_put()、netif_rx(skb)。

下图显示了这些函数在SKB层面上的作用。


SKB接收数据包相关函数.png

实际运行中,前两步(dev_alloc_skb()和skb_reserve())是在初次预分配环形接收缓冲区时执行的,第三步是由NIC硬件在将DMA接收数据存入预分配的sk_buff时完成的,最后两步(skb_put()和netif_rx())则从接收中断服务例程开始执行

其中dev_alloc_skb()创建sk_buff来存放接收到的数据包,sk_buff的创建是从Slab内存分配器中直接分配的小于4K的高速缓存(Slab内存分配器以后再讲)。这是一个可在中断上下文执行的函数,它为skb_buff分配内存并将其与一个数据包载荷缓冲区关联。dev_kfree_skb()完成dev_alloc_skb()的相反功能,释放缓冲区。接下来调用的skb_reserve()在数据包缓冲的起始和载荷的开始之间增加一个2B的填充位。这使IP头能在16B边界处开始(因为对齐的原因,这通常意味着性能更佳),因为前面的以太网头部是14B。剩下的代码用收到的数据包填充载荷缓冲区,并移动skb->data,skb->tail以及skb->len来表示这种操作。

参考自《Linux源码剖析——TCP/IP实现》

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349