网络传输优化----flatBuffer

1.优点

优点

2.使用方法

使用方法
//包名
namespace com.xx.xx;
table Items {
    ItemId : long;
    timestemp : int;
    basic:[Basic];
}
 
table Basic{
  id:int;
  name:string;
  email:int;
  code:long;
  isVip:bool;
  count:int;
  carList:[Car];
}
 
table Car{
  id:long;
  number:long;
  describle:string;
}
 
root_type Items;
  • 使用工具

1.
工具使用

2.根据json生成和fbs 生成flatbuffer 二进制文件.bin
例如repos_json.json (有数据),对应的数据结构repos_schema.fbs ,生成repos_json.bin(二进制flatbuffer格式的)
$ ./flatc -j -b repos_schema.fbs repos_json.json

  • 工程中使用
    编写对应描述文件,翻译成对应语言的类。把对应的类, 放到你的工程中。
工程
  • 序列化于反序列化
public void serialize(View v){
    //==================序列化========================
    FlatBufferBuilder builder = new FlatBufferBuilder();
    int id1 = builder.createString("兰博基尼");
    //准备Car对象
    int car1 = Car.createCar(builder,10001L,88888L,id1);
    int id2 = builder.createString("奥迪A8");
    //准备Car对象
    int car2 = Car.createCar(builder,10001L,88888L,id2);
    int id3 = builder.createString("奥迪A9");
    //准备Car对象
    int car3 = Car.createCar(builder,10001L,88888L,id3);

    int[] cars = new int[3];
    cars[0]= car1;
    cars[1] = car2;
    cars[2] = car3;

    //创建Basic对象里面的Car集合
    int carList = Basic.createCarListVector(builder,cars);

    int name = builder.createString("jack");
    int email = builder.createString("jack@qq.com");
    int basic = Basic.createBasic(builder,10,name,email,100L,true,100,carList);
    int basicOffset = Items.createBasicVector(builder,new int[]{basic});
    Items.startItems(builder);
    Items.addItemId(builder,1000L);
    Items.addTimestemp(builder,2016);
    Items.addBasic(builder,basicOffset);

    int rootItems = Items.endItems(builder);
    Items.finishItemsBuffer(builder,rootItems);

    //============保存数据到文件=================
    File sdcard = Environment.getExternalStorageDirectory();
    //保存的路径
    File file = new File(sdcard,"Items.txt");
    if(file.exists()){
        file.delete();
    }
    ByteBuffer data = builder.dataBuffer();
    FileOutputStream out = null;
    FileChannel channel = null;
    try {
        out = new FileOutputStream(file);
        channel = out.getChannel();
        while(data.hasRemaining()){
            channel.write(data);
        }

    } catch (Exception e) {
        e.printStackTrace();
    }finally {
        try {
            if(out!=null){
                out.close();
            }
            if(channel!=null){
                channel.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
//===================反序列化=============================
    FileInputStream fis = null;
    FileChannel readChannel = null;
    try {
        fis = new FileInputStream(file);
        ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
        readChannel = fis.getChannel();
        int readBytes = 0;
        while ((readBytes=readChannel.read(byteBuffer))!=-1){
            System.out.println("读取数据个数:"+readBytes);
        }
        //把指针回到最初的状态,准备从byteBuffer当中读取数据
        byteBuffer.flip();
        //解析出二进制为Items对象。
        Items items = Items.getRootAsItems(byteBuffer);
        //读取数据测试看看是否跟保存的一致
        Log.i(TAG,"items.id:"+items.ItemId());
        Log.i(TAG,"items.timestemp:"+items.timestemp());

        Basic basic2 = items.basic(0);
        Log.i(TAG,"basic2.name:"+basic2.name());
        Log.i(TAG,"basic2.email:"+basic2.email());

        //carList
        int length = basic2.carListLength();
        for (int i=0;i<length; i++){
            Car car = basic2.carList(i);
            Log.i(TAG,"car.number:"+car.number());
            Log.i(TAG,"car.describle:"+car.describle());
        }
    } catch (Exception e) {
        e.printStackTrace();
    }finally {
        try {
            if(readChannel!=null){
                readChannel.close();
            }
            if(fis!=null){
                fis.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

3.基本原理

原理图

FlatBuffers 保存在一个 byte 数组中,有一个“支点”指针(pivot point)以此为界,存储的内容分为两个部分:元数据和数据内容。其中元数据部分就是数据在前面,其长度等于对象中的字段数量,每个 byte 保存对应字段内容在数组中的索引(从支点位置开始计算)。

namespace com.race604.fbs;
enum FriendshipStatus: int {Friend = 1, NotFriend}
table Person {
name: string;
friendshipStatus: FriendshipStatus = Friend;
spouse: Person;
friends: [Person];
}
root_type Person;

上面的 Person 对象第一个字段是 name,其值的索引位置是 1,所以从索引位置 1 开始的字符串,就是 name 字段的值 "John"。第二个字段是 friendshipStatus,其索引值是 6,找到值为 2, 表示 NotFriend。第三个字段是 spouse,也一个 Person 对象,索引值是 12,指向的是此对象的支点位置。第四个字段是一个数组,图中表示的数组为空,所以索引值是 0。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容