【Netty专题】源码剖析netty核心基础ByteBuf

​       在面试的时候,当面试问到netty的时候问到:你知道jdk nio中的ByteBuffer与netty 中的ByteBuf有什么区别吗?来看看面试者的基础掌握的如何!你能准确回到出来个所以然吗?

      说到jdk我先说说我身边使用jdk nio的情况;

      我现在公司就有个游戏项目是jdk nio2一行一行实现的通讯架构,一直在线上运营,目前该架构单服承载最高的时候达到3000多人,没发现有什么性能瓶颈,当然人数可能还会继续增加,只要提高服务器配置,或者选择增加新的服务器去负载均衡;

       我们都知道jdk nio臭名昭著的epoll bug,它会导致Selector空轮询,最终导致CPU 100%。官方声称在JDK1.6版本的update18修复了该问题;当然我没有遇到这个bug,希望后面也不要遇到(祈祷),而netty的设计就很自然的避免了这个问题;不用担心这个bug出现;

       这篇文章就是由浅入深解读ByteBuf家族,从而彻底掌握ByteBuf各知识点。

一、先来比较下jdk nio中的ByteBuffer与netty 中的ByteBuf

JDK NIO 劣势:

1、ByteBuffer给开发者的第一感觉就是他的API太少了,程序员的很多需求都不能满足,只能自己去实现或者做一下封装;

2、ByteBuffer 长度固定,不能动态收缩拓展,如果存很长的数据时候,就容易越界报错,例如:

3、ByteBuffer 读写操作的时候只有一个索引,操作起来flip(),rewind(),让人蛋疼,小白操作很容易混乱,这一点Mina IoBuffer和ByteBuffer同病相怜;

相反netty 的ByteBuf解决上面的所有的痛点;丰富的API,支持动态收缩拓展,并且读写索引分开,不用操作字节的时候,那么蛋疼;

二、ByteBuf实现原理以及如何使用

Netty ByteBuf提供了2个指针变量分别用于顺序读取,和顺序写入,readerIndex是读索引,writerIndex是写索引,二者划分ByteBuf缓冲区关系:


capacity:

 缓冲区的容量。

readerIndex:

读取字节,改变readerIndex位置,或者下面的方法去初始化readerIndex

设置当前读的位置。可以使用readerIndex()和readerIndex(int)方法获取、设置readerIndex值。每次调用readXXX方法都会导致readerIndex向writerIndex移动,直到等于writerIndex为止。

writerIndex:

设置写的当前位置。可以使用writerIndex()和writerIndex(int)方法获取、设置writeIndex的值。每次调用writeXXX方法都会导致writeIndex向capacity移动,直到等于capacity为止。

discardable bytes:

表示读取之后丢弃,节约空间资源。0--readerIndex之间的数据, 长度是readerIndex - 0,调用discardReadBytes会丢弃这部分数据,把readerIndex--writerIndex之间的数据移动到ByteBuf的开始位置(0);

使用案例展示:

三、ByteBuf缓冲分类

1、Heap buffer(堆缓冲区):

就是将数据存在JVM堆空间中,在没有被池化的情况可以快速分配和释放。

优点:由于数据是存储在JVM堆中,因此可以快速的创建与快速的释放,并且它提供了直接访问内部字节数组的方法。

缺点:每次读写数据时,都需要先将数据复制到直接缓冲区中再进行网路传输。

2、Direct buffer(直接缓冲区):

直接缓冲区,在堆外直接分配内存空间,直接缓冲区并不会占用堆的容量空间,因为它是由操作系统在本地内存进行的数据分配。

优点:在使用Socket进行数据传递时,性能非常好,因为数据直接位于操作系统的本地内存中,所以不需要从JVM将数据复制到直接缓冲区中 。

缺点:因为Direct Buffer是直接在操作系统内存中的,所以内存空间的分配与释放要比堆空间更加复杂,而且速度要慢一些。

注意:

如果你的数据包含在一个在堆上的分配的缓冲区中,那么事实上,在通过套接字发送他之前,jvm将会在内部把你的缓冲区复制到一个直接缓冲区中;这样分配释放就比较浪费资源;

建议:

直接缓冲区并不支持通过字节数组的方式来访问数据。对于后端业务的消息编解码来说,推荐使用HeapByteBuf;对于I/O通信线程在读写缓冲区时,推荐使用DirectByteBuf;

3、Composite Buffer 复合缓冲区:

可以拥有以上两种的缓冲区,通过一种聚合视图来操作底层持有的多种类型Buffer。这种缓冲,jdk nio是没有这种特性的。

四、源码解读ByteBuf家族



先看下ByteBuf的接口和他的三个不同方向的实现抽象类,下面还有具体实现类后面再具体列出来讲解,先介绍下这几个ByteBuf的顶级接口和抽象父类:

(Deprecated 的SwappedByteBuf官方已经不赞成去使用了,是不安全缓冲接口)

1、ReferenceCounted引用计数器接口。

Netty 4开始,对象的生命周期由它们的引用计数(reference counts)管理,而不是由垃圾收集器(garbage collector)管理了。ByteBuf是最值得注意的,它使用了引用计数来改进分配内存和释放内存的性能。ByteBuf利用引用计数来改进分配和回收性能;

      只要引用计数大于 0,就能保证对象不会被释放。当活动引用的数量减少到0 时,该实例就会被释放;是由最后访问(引用计数)对象的那一方来负责将它释放。

(1)、如果一个对象实现了ReferenceCounted接口,被初始化的时候,计数为1。

(2)、retain()方法能够增加计数,release() 方法能够减少计数,如果计数被减少到0则对象会被显示回收,再次访问被回收的这些对象将会抛出异常。

(3)、如果一个对象实现了ReferenceCounted,并且包含有其他对象也实现来ReferenceCounted,当这个对象计数为0被回收的时候,所包含的对象同样会通过release()释放掉。

2、Comparable:排序接口。

ByteBuf:定义了一下是否可读写的属性以及定义了一些读写操作的抽象接口,供子类继承实现。

3、WrappedByteBuf:用于装饰ByteBuf对象,主要有AdvancedLeakAwareByteBuf、SimpleLeakAwareByteBuf和UnreleasableByteBuf三个子类。

(1)、WrappedByteBuf使用装饰者模式装饰ByteBuf对象

(2)、AdvancedLeakAwareByteBuf用于对所有操作记录堆栈信息,方便监控内存泄漏;

(3)、SimpleLeakAwareByteBuf只记录order(ByteOrder endianness)的堆栈信息;

(4)、UnreleasableByteBuf用于阻止修改对象引用计数器refCnt的值。

4、AbstractByteBuf:抽象继承ByteBuf, 是ByteBuf缓冲的默认实现接口.

子类很多,我们上面说的三种缓冲策略的类实现都是最终继承实现AbstracByteBuf,而AbstractByteBuf本身并没有具体去对不同ByteBuf缓冲区去做具体实现,而是由子类去实现,原因很简单父类不知道子类去实现堆内存还是直接内存,还是复合缓冲区;只是提供一个抽象接口而已;

再看看AbstractByteBuf源码中属性:

定义了读,写索引和读写索引的标记,以及最大容量,leakDetectro:是监测内存是否泄漏,是static类型,说明是共享公共的对象;

AbstractByteBuf直接子类AbstractDerivedByteBuf:提供派生ByteBuf的默认实现,主要有DuplicatedByteBuf、ReadOnlyByteBuf和SlicedByteBuf。

(1)、DuplicatedByteBuf:使用装饰者模式创建ByteBuf的复制对象,使得复制后的对象与原对象共享缓冲区的内容,但是独立维护自己的readerIndex和writerIndex。

(2)、ReadOnlyByteBuf:使用装饰者模式创建ByteBuf的只读对象,该只读对象与原对象共享缓冲区的内容,但是独立维护自己的readerIndex和writerIndex,之后所有的写操作都被限制;

(3)、SlicedByteBuf:使用装饰者模式创建ByteBuf的一个子区域ByteBuf对象,返回的ByteBuf对象与当前ByteBuf对象共享缓冲区的内容,但是维护自己独立的readerIndex和writerIndex,允许写操作。

(4)、其实还可以按照另外一个维度去理解,一个是池化的ByteBuf一个是非池化的ByteBuf(用完就销毁);即PooledByteBuf_ 和UnpooledByteBuf_;

以上三种缓冲官方已经Deprecated不推介使用;

这也不推介使用那也不推介使用,那我们用哪些类去操作缓冲呢?

我们用AbstractByteBuf直接子类AbstractReferenceCountedByteBuf,该抽象类的子类实现的缓冲类;

上面我们看到很多实现类,而且没有一个被Deprecated的;这里只重点介绍几个常用的;

(1)、UnpooledDirectByteBuf:

 在堆外进行内存分配的非内存池ByteBuf,内部持有ByteBuffer对象,相关操作委托给ByteBuffer实现。

(2)、UnpooledHeapByteBuf:

  基于堆内存分配非内存池ByteBuf,即内部持有byte数组。

(3)、UnpooledUnsafeDirectByteBuf:

  和另外一个类UnpooledDirectByteBuf差不多相同,区别在于UnpooledUnsafeDirectByteBuf内部使用基于PlatformDependent相关操作实现ByteBuf,依赖平台。

(4)、ReadOnlyByteBufferBuf:

  只读ByteBuf,内部持有ByteBuffer对象,相关操作委托给ByteBuffer实现,该ByteBuf限内部使用;

(5)、FixedCompositeByteBuf:

 用于将多个ByteBuf组合在一起,形成一个虚拟的只读ByteBuf对象,不允许写入和动态扩展。内部使用Object[]将多个ByteBuf组合在一起,一旦FixedCompositeByteBuf对象构建完成,则不会被更改。

(6)、CompositeByteBuf:

 用于将多个ByteBuf组合在一起,形成一个虚拟的ByteBuf对象,支持读写和动态扩展。内部使用List组合多个ByteBuf。一般使用使用ByteBufAllocator的compositeBuffer()方法,Unpooled的工厂方法compositeBuffer()或wrappedBuffer(ByteBuf... buffers)创建CompositeByteBuf对象。

(7)、PooledByteBuf:

  基于内存池的ByteBuf,主要为了重用ByteBuf对象,提升内存的使用效率;适用于高负载,高并发的应用中。主要有PooledDirectByteBuf,PooledHeapByteBuf,PooledUnsafeDirectByteBuf三个子类,PooledDirectByteBuf是在堆外进行内存分配的内存池ByteBuf,PooledHeapByteBuf是基于堆内存分配内存池ByteBuf,PooledUnsafeDirectByteBuf也是在堆外进行内存分配的内存池ByteBuf,区别在于PooledUnsafeDirectByteBuf内部使用基于PlatformDependent相关操作实现ByteBuf,具有平台相关性。

      就到这里了,感谢读者认真读完;差不多就netty的ByteBuf家族有了初步的了解了,后面博客我会对三种缓冲(直接缓冲,复合缓冲,堆缓冲)进行具体源码剖析,和大家一起学习一起探讨;如有些的不对的地方,请积极指出,以便及时纠正。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,194评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,058评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,780评论 0 346
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,388评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,430评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,764评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,907评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,679评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,122评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,459评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,605评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,270评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,867评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,734评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,961评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,297评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,472评论 2 348

推荐阅读更多精彩内容