netty使用google protobuf序列化

介绍

protobuf是google的一款跨平台、高效、可扩展的序列化框架。

netty是由JBOSS开源的一款java网络通信框架。netty是异步的、基于事件驱动架构网络通讯框架。目前很多的开源框架中都是用netty来进行通信,如:

  • hadoop用netty来实现rpc通信,以传输数据、心跳检测等。
  • spark用netty来进行网络通讯(在1.3中,使用的是akka,1.6中使用的是akka与netty并存,2.0以后只存在netty)。

基本上只要是涉及到java网络通讯的,基本上都用到了netty,可见其netty的用处之广。

编解码器

netty中存在很多编解码器,Protobuf编解码器就是其中之一,我们只需要定义自己的处理逻辑即可。

netty使用protobuf

在netty中使用protobuf需要安装以下步骤进行:

  1. 下载protobuf:windows版本linux版本,这里只下载windows版本的protobuf。
  2. windows需要将protobuf src下的protoc.exe添加到环境变量中,将protobuf的sec目录设置到path目录即可,不需要protoc.exe文件名。
  3. 定义*.protoc文件,如下:
package tutorial;

option java_package = "com.example.tutorial";// java包名
option java_outer_classname = "AddressBookProtos";// java的外部类名

message Person{// 类
   required string name = 1;// 类的属性,required为必须
   required int32 id = 2;
   optional string email = 3;// optional为可选

   enum PhoneType{// 枚举
      MOBILE = 0;
      HOME = 1;
      WORK = 2;
   }

   message PhoneNumber{
      required string number = 1;
      optional PhoneType type = 2[default = HOME];// 默认值
   }
   optional PhoneNumber phone = 4;
}
  1. 使用protoc.exe命令生成java类文件:protoc --java_out=../java person.protoc

--java_out: 生成的java类的输出目录,最后定义的protoc文件的目录。

  1. 创建序列化对象,使用Proptbuf的newBuilder().build()进行构建待序列化的对象,如:
Person person = Person.newBuilder()
.setId(100)// 上面定义的属性
.setName("zhagnsan")// 上面定义的属性
// 定义的属性为另一个对象,也是使用build进行构建
.setPhone(
PhoneNumber.newBuilder()
.setNumber("555-4321")
.setType(PhoneType.HOME)// 上面定义的枚举
.build()
)
.build();
  1. 创建服务端,并添加protobuf编解码器
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workGroup = new NioEventLoopGroup();
ServerBootstrap bootstrap = new ServerBootstrap();
try {
    bootstrap.group(bossGroup, workGroup)
            .channel(NioServerSocketChannel.class)
            .option(ChannelOption.SO_BACKLOG, 1024)
// 日志级别
            .handler(new LoggingHandler(LogLevel.INFO))
            .childHandler(new ChannelInitializer<Channel>(){
        @Override
        protected void initChannel(Channel ch) throws Exception {
            ChannelPipeline pipeline = ch.pipeline();
            // protobuf的解码器,需要添加带系列化的类的实例
                 pipeline.addLast(new ProtobufDecoder(AddressBookProtos.Person.getDefaultInstance()));
            // protobuf编码器
                    pipeline.addLast(new ProtobufEncoder());
// 自己的逻辑,处理序列化前后的Handler
            pipeline.addLast(new ProtoServerHandler());
        }
    });
    ChannelFuture future = bootstrap.bind(9090).sync();
    future.channel().closeFuture().sync();
} finally{
    bossGroup.shutdownGracefully();
    bossGroup.shutdownGracefully();
}

Server Handler
netty新版的输入和输出都是继承自ChannelHandlerAdapter,而旧版的输入和输出是分开的,输入ChannelInboundHandler,输出ChannelOutboundHandler,下面使用新版:

public class ProtoServerHandler extends ChannelHandlerAdapter {
// 有数据可以读取时调用的方法
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        AddressBookProtos.Person person = (AddressBookProtos.Person) msg;
        System.out.println("client request: " + person);
    }

// 数据读取完成后调用的方法
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        AddressBookProtos.Person person = AddressBookProtos.Person.newBuilder()
                .setId(10).setName("lisi")
                .setEmail("lisi@qq.com")
                .setPhone(AddressBookProtos.Person.PhoneNumber.newBuilder()
                        .setNumber("8888888")
                        .setType(AddressBookProtos.Person.PhoneType.WORK)
                        .build())
                .build();
        ctx.writeAndFlush(person);
    }
}
  1. 创建netty客户端(其实并不一定需要用netty来创建客户端),和服务器端一样,netty也内置了编解码器,也只需要传入序列化的类的示例
EventLoopGroup group = new NioEventLoopGroup();
Bootstrap bootstrap = new Bootstrap();
try{
    bootstrap.group(group).channel(NioSocketChannel.class)
            .option(ChannelOption.SO_KEEPALIVE, true)
            .handler(new ChannelInitializer<Channel>() {
        @Override
        protected void initChannel(Channel ch) throws Exception {
            ChannelPipeline pipeline = ch.pipeline();
            pipeline.addFirst(new LoggingHandler(LogLevel.INFO));
            // 解码,添加需要解码的类
            pipeline.addLast(new ProtobufDecoder(AddressBookProtos.Person.getDefaultInstance()));
            pipeline.addLast(new ProtobufEncoder());
// 自定义的逻辑,自己写的Handler
            pipeline.addLast(new ProtoClientHandler());
        }
    });
    ChannelFuture future = bootstrap.connect("localhost", 9090);
    future.channel().closeFuture().sync();
}finally{
    group.shutdownGracefully();
}

Client Handler

public class ProtoClientHandler extends ChannelHandlerAdapter {
    // 链接成功后调用(三次握手完成)
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        AddressBookProtos.Person person = AddressBookProtos.Person.newBuilder()
                .setId(100).setName("zhangsan")
                .setEmail("zhangsan@qq.com")
                .setPhone(AddressBookProtos.Person.PhoneNumber.newBuilder()
                        .setNumber("555-4321")
                        .setType(AddressBookProtos.Person.PhoneType.HOME)
                        .build())
                .build();
        ctx.writeAndFlush(person);
    }
// 有数据可读时调用
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        AddressBookProtos.Person person = (AddressBookProtos.Person) msg;
        System.out.println("server response:" + person);
    }
// 数据读取完成后调用
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        System.out.println("read complete...");
        super.channelReadComplete(ctx);
    }
}
  1. 最后测试时,必须先启动服务器,在启动客户端,即可看到效果。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,001评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,210评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,874评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,001评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,022评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,005评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,929评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,742评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,193评论 1 309
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,427评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,583评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,305评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,911评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,564评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,731评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,581评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,478评论 2 352

推荐阅读更多精彩内容

  • 背景 学过java的都使用过RMI框架(remote method invocation),远程方法调用,比如A,...
    二月_春风阅读 12,187评论 0 13
  • 简介 protoBuf是google 的一种数据交换的格式,它独立于语言,独立于平台。google 提供了多种语言...
    ssochi阅读 2,993评论 0 2
  • 作者:李林锋 原文:http://www.infoq.com/cn/articles/netty-high-per...
    杨鑫科阅读 3,975评论 0 64
  • 1.看书 2.和老友谈心 总结:很意外一直以来神秘的学霸会以这种方式开启他的内心之旅,以前会在乎现在也只是好奇,真...
    你本大王阅读 135评论 0 1
  • Objective 你对今天学的记得什么? 大家一起来什么事情都变得简单! Reflective 一句话形容今天的...
    她念阅读 192评论 0 0