netty自适应缓冲区实现

netty的自适应缓冲区用于接收从channel读取的数据,且可以动态调整缓冲区大小,减少内存的浪费。当连续两次读取的字节数小于当前缓冲区大小时,就会缩小,当读取的字节数刚好等于缓冲区大小时,就会扩大。

因为是缓冲区是存放从channel读取的数据,所以缓冲区是在生成channel对象时而生成的,以NioServerSocketChannel为例子,看自适应缓冲区的实例化过程

public NioServerSocketChannel(ServerSocketChannel channel) {
    super(null, channel, SelectionKey.OP_ACCEPT);
    config = new NioServerSocketChannelConfig(this, javaChannel().socket());
}

netty中,对channel的相关配置参数包括缓冲区都是放在ChannelConfig对象中,因此再跟进channelConfig的构造方法时,会看到如下

public DefaultChannelConfig(Channel channel) {
        this(channel, new AdaptiveRecvByteBufAllocator());
    }

    protected DefaultChannelConfig(Channel channel, RecvByteBufAllocator allocator) {
        setRecvByteBufAllocator(allocator, channel.metadata());
        this.channel = channel;
    }

可以看出先生成一个自适应缓冲区分配器对象,然后设置到channelConfig中。通过分配器来分配缓冲区ByteBuf对象,所以,接下来我们先看下分配器的内部重要成员变量,最后再看下方法的处理逻辑

AdaptiveRecvByteBufAllocator

  • SIZE_TABLE
    整型数组,数组第一个元素的值为16,接下来的每个元素值依次再前一个值基础上+16,到了512之后的每个元素值是前一个元素值的2倍。缓冲区大小在调节过程中的值都是从这个数组取的。
  • getSizeTableIndex
    这个方法用于传入一个值,可以获取到该值对应在SIZE_TABLE的数组下标,用的是二分查找法
  • initial、minIndex、maxIndex
    initial表示缓冲区初始化的默认大小,minIndex表示当缓冲区变小时,最小值对应的数组下标,同理可得,naxIndex表示当缓冲区变大时,最大值对应的数组下标
  • INDEX_INCREMENT、INDEX_DECREMENT
    INDEX_INCREMENT默认值为4,表示缓冲区每次增大,值为SIZE_TABLE[index+4],index为当前值对应的下标。INDEX_DECREMENT默认为1,表示缓冲区每次减小,值为SIZE_TABLE[index-1]

通过RecvByteBufAllocator接口定义可知,allocator内部逻辑的处理又是委托给内部类Handle处理的,因此我们看下AdaptiveRecvByteBufAllocator内部HandleImpl的几个重要属性

//缓冲区最小值对应的数组下标
private final int minIndex;
//缓冲区最大值对应的数组下标
private final int maxIndex;
//缓冲区当前值对应数组的下标
private int index;
//下一次缓冲区的大小
private int nextReceiveBufferSize;
//当前是否需要减小缓冲区的大小
private boolean decreaseNow;

HandleImpl的几个重要属性其实也是基于外部类AdaptiveRecvByteBufAllocator的。
AdaptiveRecvByteBufAllocator只是和缓冲区大小的设置相关,是否需要扩大或者缩小缓冲区,要看下其继承的类DefaultMaxMessagesRecvByteBufAllocator

DefaultMaxMessagesRecvByteBufAllocator

  • maxMessagesPerRead
    之前在nio的编程中,从channel中获取数据可以放在一个循环里面,直到channel没数据可读取为止。也可以每次只读一次,如果有数据,下次select循环中,又会触发read事件。在netty中,就是用这个值来控制每次从channel读取数据的循环次数。
  • respectMaybeMoreData
    表示是否有更多数据可以读取。
    相应的DefaultMaxMessagesRecvByteBufAllocator也有一个内部类MaxMessageHandle,实际处理逻辑的。
//每次读取数据的循环次数
private int maxMessagePerRead;
//总读取次数
private int totalMessages;
//总读取字节数
private int totalBytesRead;
//尝试读取的字节数
private int attemptedBytesRead;
//上次读取的字节数
private int lastBytesRead;
private final boolean respectMaybeMoreData = DefaultMaxMessagesRecvByteBufAllocator.this.respectMaybeMoreData;
private final UncheckedBooleanSupplier defaultMaybeMoreSupplier = new UncheckedBooleanSupplier() {
    @Override
    public boolean get() {
        return attemptedBytesRead == lastBytesRead;
    }
};

在了解了AdaptiveRecvByteBufAllocator和DefaultMaxMessagesRecvByteBufAllocator基本属性及内部委托处理的Handle(HandleImpl和MaxMessageHandle)之后,结合实际的read操作,来看下netty是如何实现自适应调整缓冲区大小的。

netty中读取socket的数据时在NioEventLoop的循环中处理的,这个可以先下我之前写的另一篇文章NioEventLoop事件循环处理,直接跟踪到这行代码

if ((readyOps & (SelectionKey.OP_READ | SelectionKey.OP_ACCEPT)) != 0 || readyOps == 0) {
                unsafe.read();
            }

这里就以NioSocketChannel的unsafe为例子来看下读取逻辑。

public final void read() {
    final ChannelConfig config = config();
    if (shouldBreakReadReady(config)) {
        clearReadPending();
        return;
    }
    final ChannelPipeline pipeline = pipeline();
    final ByteBufAllocator allocator = config.getAllocator();
//通过之前的分析,这里拿到的是AdaptiveRecvByteBufAllocator的HandleImpl实例对象
    final RecvByteBufAllocator.Handle allocHandle = unsafe().recvBufAllocHandle();
//这里是重置HandleImpl的一些参数为默认初始值,比如maxMessagePerRead=16,totalMessages = totalBytesRead = 0;
    allocHandle.reset(config);
    ByteBuf byteBuf = null;
    boolean close = false;
    try {
        do {
//分配一个初始的ByteBuf,大小为1024,在创建自适应缓冲区时的默认参数,大小是通过HandleImpl的guess方法拿到 
 //的,guess方法返回的是nextReceiveBufferSize值
            byteBuf = allocHandle.allocate(allocator);
//这里的两个步骤,doReadBytes会设置Handle的attemptedBytesRead值,也就是byteBuf的可写字节数,然后将 
 //从channel读取attemptedBytesRead的字节数到bytebuf中,当然了,实际读取的字节数不一定那么多
//doReadBytes方法返回实际读取到的字节数,并传给handle的lastBytesRead方法。这个方法的逻辑在下面单独分析
            allocHandle.lastBytesRead(doReadBytes(byteBuf));
//这次读取的字节数如果小于等于0,有两种情况,=0的话是此次没数据读取了,释放缓冲区即可,若小于0,表示连接断开了,还需要设置readPending 标志位,在finally中处理
            if (allocHandle.lastBytesRead() <= 0) {
                // nothing was read. release the buffer.
                byteBuf.release();
                byteBuf = null;
                close = allocHandle.lastBytesRead() < 0;
                if (close) {
                    // There is nothing left to read as we received an EOF.
                    readPending = false;
                }
                break;
            }
                    //读取完这次数据后,对Handle的totalMessages加1
            allocHandle.incMessagesRead(1);
            readPending = false;
//触发pipeline的的channelRead方法
            pipeline.fireChannelRead(byteBuf);
            byteBuf = null;
//这边的这个判断很重要,决定是否继续循环从channel读取数据,看下面专门的分析
        } while (allocHandle.continueReading());

        allocHandle.readComplete();
        pipeline.fireChannelReadComplete();

//如果是连接关闭了,那么会触发一个用户事件,传递给pipeline,应用程序可以针对这个事件进行捕获处理
        if (close) {
            closeOnRead(pipeline);
        }
    } catch (Throwable t) {
        handleReadException(pipeline, byteBuf, t, close, allocHandle);
    } finally {
              //如果是在read多次循环中间突然连接断开,那么readPending 会等于false,且channelConfig配的不是自动读取,那么需要将这个channel的read事件从selector上移除
        if (!readPending && !config.isAutoRead()) {
                    removeReadOp();
                }
    }
}

HandleImpl的lastBytesRead方法,在上面已经分析了,真实从channel读取的字节数会传给这个方法

public void lastBytesRead(int bytes) {
    //假如真实读取的字节数等于是ByteBuf可写的字节数,也就是ByteBuf在这次读取中,数据完全被填充满了,那么,要进入一个调整缓冲区大小的方法record
    if (bytes == attemptedBytesRead()) {
        record(bytes);
    }
//记录上次读取的真实字节数
    super.lastBytesRead(bytes);
}

/**
这个方法有两个判断逻辑
1. 获取当前缓冲区缩小后的值,假如此次读取的字节数小于等于这个值,说明缓冲区可能需要被缩小,  
但是netty会给两次机会,如果是第一次这样的话,记录一下decreaseNow 标志位为true,如果是第二次的话,才会将 nextReceiveBufferSize值变小,
这样在下次循环分配器在分配缓冲区时,缓冲区大小就变小了。
2. 假如此次读取的字节数大于等于nextReceiveBufferSize了,那么就需要调整nextReceiveBufferSize的值了,下次分配缓冲区时,缓冲区大小就变大了。
缓冲区变大或者变小的参数在一开始介绍AdaptiveRecvByteBufAllocator有说过了,可以翻上去看下
*/
private void record(int actualReadBytes) {
    if (actualReadBytes <= SIZE_TABLE[max(0, index - INDEX_DECREMENT)]) {
        if (decreaseNow) {
            index = max(index - INDEX_DECREMENT, minIndex);
            nextReceiveBufferSize = SIZE_TABLE[index];
            decreaseNow = false;
        } else {
            decreaseNow = true;
        }
    } else if (actualReadBytes >= nextReceiveBufferSize) {
        index = min(index + INDEX_INCREMENT, maxIndex);
        nextReceiveBufferSize = SIZE_TABLE[index];
        decreaseNow = false;
    }
}

allocHandle.continueReading()决定是否继续循环从channel读取数据

/**
private final UncheckedBooleanSupplier defaultMaybeMoreSupplier = new UncheckedBooleanSupplier() {
    public boolean get() {
        return attemptedBytesRead == lastBytesRead;
    }
};
*/
@Override
public boolean continueReading() {
    return continueReading(defaultMaybeMoreSupplier);
}

@Override
public boolean continueReading(UncheckedBooleanSupplier maybeMoreDataSupplier) {
    return config.isAutoRead() &&
           (!respectMaybeMoreData || maybeMoreDataSupplier.get()) &&
           totalMessages < maxMessagePerRead &&
           totalBytesRead > 0;
}

从这个方法可以看出,接着循环读取数据需要满足的条件有几个

  1. channel配置了自动读取数据
  2. 当前这个循环读取的字节数刚好等于ByteBuf可写的字节数(也就是attemptedBytesRead )
  3. 已经循环读取的次数小于maxMessagePerRead,默认是16
  4. 总读取的字节数大于0
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容