Netty是基于NIO实现的Java高性能网络库,号称可以达到单机百万连接,在业界上有大量实践,例如Spark,Dubbo等底层的网络层都是基于Netty开发。
NIO是非阻塞I/O,对比BIO阻塞式I/O,并发性有了数量级的提升。关于NIO和BIO的概念不再赘述,如未接触过可自行Google。
Java 1.4 引入了非阻塞 API 在 java.nio 包,但是NIO过于底层,对于应用层开发来讲非常的不友好,这也是Netty出现的前提条件。
典型的Netty程序构成
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap bootstrap = new ServerBootstrap();
bootstrap.option(ChannelOption.SO_REUSEADDR, true).option(ChannelOption.SO_BACKLOG, 1024)
.option(ChannelOption.SO_RCVBUF, 1024 * 128)
.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
bootstrap.childOption(ChannelOption.TCP_NODELAY, true)
.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT)
.childOption(ChannelOption.SO_KEEPALIVE, true);
bootstrap.group(bossGroup,workerGroup)
.channel(NioServerSocketChannel.class)
.localAddress(new InetSocketAddress(port))
.childHandler(new ChannelInitializer<SocketChannel>() {
EventExecutorGroup logicGroup = new DefaultEventExecutorGroup(16);
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast(logicGroup,new EchoServerWithExecutorHandler());
}
});
ChannelFuture f = bootstrap.bind().sync();
System.out.println(App.class.getName() + " started and listen on " + f.channel().localAddress());
f.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully().sync();
workerGroup.shutdownGracefully().sync();
}
bossGroup 由一组Event Loop构成,一个Event Loop对应一个线程,可以认为bossGroup 为线程池,可设置线程池大小。
bossGroup 用来实现NIO中的Selector,每当有一个网络连接建立就会分配给对应的Event Loop,一个Event Loop会对应多个网络连接,也就是说此线程池只用来负责建立网络连接,后续的动作交给workerGroup中的Event Loop执行。
这样bossGroup对应的Event Loop可以应对超大量的连接请求,具体的业务操作由workerGroup执行,不会阻塞。
workerGroup下的Event Loop会对应多个Channel,这样就会有一个问题,当业务代码执行比较耗时的时候,Event Loop在循环处理Channel对应的Event的时候会阻塞住,这个时候就需要EventExecutorGroup 了,对应Channel初始化的时候的logicGroup ,每个Channel对应的业务代码可以交给此线程池执行,这样就保证了workerGroup的不阻塞。
下面我们利用VisualVM(此工具使用可自行Google)来验证下是否是按上述描述执行的
程序启动,尚且没有连接的时候,可以看到在线程中的nioEventLoopGroup-2-1,这个对应bossGroup的某一个Event Loop,因为尚且没有连接,所有只有一个Event Loop线程,当连接数超过单个Event Loop处理能力的时候会增加新的线程。另EchoServerWithExecutorHandler对应处理是接到数据后原样返回。
模拟一个网络连接,可以看到新增加了一个nioEventLoopGroup-3-1和一个defaultEventExecutorGroup-4-1,分别对应workerGroup和logicGroup。
模拟一百个网络连接,可以看到nioEventLoopGroup-3-x的线程增加到了16个,defaultEventExecutorGroup-4-x也增加到了16个,但是nioEventLoopGroup-2-1还是只有一个。
模拟一万个网络连接,可以看到nioEventLoopGroup-2-1还是只有一个,在模拟工具中查看,最大延迟不到300毫秒。