jodd-http实现细节的一点思考

  jodd-http是一个非常轻巧的http客户端工具,使用起来简单便利、容易上手。常见的http请求方式都能很好地支持,包括文件的上传下载、chunk响应模式,还一定程度上支持长链接、模拟浏览器、隧道等特性。下文中将使用jodd指代jodd-http。
   最近部门有个项目使用该技术实现了一个轻量级的网关代理层,前几天在和帅哥排查问题时注意到jodd实现上的两个细节,若使用不当会导致服务端的性能和内存空间方面产生问题。

第一,jodd自动处理chunk响应会造成内存开销较大

  在处理服务端的chunk响应时,jodd采用自循环的方式,直到接收完全部数据为止(见代码一)。假设系统需要处理很多大响应体的请求时,这种方式便会占用过多的内存空间,甚至有OOM的风险。另外,衡量web性能的众多指标中有一个叫做TTFB的重要指标,即 Time To First Byte,它表示客户端自请求发出直至接收到响应的第一个字节时所经历的时间延迟,显然,在网关代理层的场景中,jodd拼装好完整响应后再返回给客户端的时间消耗会对该指标产生较大的不利影响。

// 以下是jodd.http.HttpBase#readBody方法中的读取chunk数据的代码段
if (isChunked) {
   FastCharArrayWriter fastCharArrayWriter = new FastCharArrayWriter();
   try {
      while (true) {
         String line = reader.readLine();
         int len = Integer.parseInt(line, 16);
         if (len > 0) {
            StreamUtil.copy(reader, fastCharArrayWriter, len);
            reader.readLine();
         } else {
            // end reached, read trailing headers, if there is any
            readHeaders(reader);
            break;
         }
      }
   } catch (IOException ioex) {
      throw new HttpException(ioex);
   }
   bodyString = fastCharArrayWriter.toString();
}

代码一

第二,jodd会自动将响应体中原始的byte数组转换成字符串(见代码二),该操作很多时候会造成不必要的资源浪费
// 在jodd.http.HttpBase#readBody方法中,使用如下语句从包装了输入流的Reader中读取字符数据至Writer中
StreamUtil.copy(reader, fastCharArrayWriter, contentLenValue);

代码二

  首先这种转换操作需要进行CPU运算,其次,转换结果的char数组也需要占用相应大小的内存空间,关键是这种自动转换很多时候是徒劳的,原因有二:

  1. 如果响应体中的数据本身就是二进制的,比如文件下载,则系统还需要从字符串转回byte数组
  2. 自动转换固定采用了ISO-8859-1字符集,该字符集在很多国家和地区并不能满足当地的文字编码需求,东亚字符更是如此,因此需要将ISO字符串转回byte数组,之后再转换成对应字符集的字符串,比如UTF-8
      jodd为什么要使用字符串存储响应体数据,目前尚未可知,但有一个比较明显的好处是,在使用ISO-8859-1字符集的系统中,该方式可以避免存放响应体二进制数据的额外内存占用。
      通过对以上两个实现细节的分析,在使用jodd时还需考虑具体的应用场景,避免引起不必要的内存和性能问题。
文末彩蛋

  在将响应体数据转换为字符串时,jodd为什么选择了ISO-8859-1字符集,而不是其他字符集呢?
  ISO-8859-1是一种基础字符集,包含的字符都是单字节编码,取值范围是0x00~0xFF,一共256个编码。因此,该字符集天然具备一种特性,任何的二进制值都能转换成相应的字符编码。也就是说,如果采用了该字符集,任何二进制数据都可以和ISO字符串之间进行无损的双向转换。jodd正是利用了这种性质巧妙地实现了使用字符串存储响应体并且不会丢失数据。

qrcode_for_gh_0d518f6ac6ff_258.jpg
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,265评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,078评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,852评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,408评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,445评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,772评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,921评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,688评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,130评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,467评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,617评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,276评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,882评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,740评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,967评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,315评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,486评论 2 348

推荐阅读更多精彩内容