HttpServletRequest getParameter()丢失问题

HttpServletRequest body无法多次读取 getParameter()丢失 application/x-www-form-urlencoded vs applicaiton/json

先说下背景:

实现了一个基础组件可以对所有的http请求进行拦截, 将请求header/parameter/body/response等进行打印输出。
这里最关键最不易处理的就是body的输出, 因为body里字符的传输是通过HttpServletRequest中的字节流getInputStream()获得的;而这个字节流在读取了一次之后就不复存在了。
比如使用了开源框架比如Spring某些环节已经拦截读取过输入流了,那在经过我们自定义的拦截器进行拦截打印body的时候,这个InputStream已经没有字节了...
实现思路也不难,就是自己继承实现HttpServletRequestWrapper,将body拷贝出来一份保存好,然后在Filter中链式传输即可。

1. 知识点准备

Content-Type

目前项目中表单传输基本是如下三类:

application/json
request body中放入json串即可,Spring Controller中入参使用@RequestBody标注;
application/x-www-form-urlencoded
request body中放入a=1&b=2&c=3类型queryString的key value字符串结构, Spring Controller中入参使用@RequestParam标注;
multipart/form-data
用于图片等流媒体上传,此类请求不打印body。

自定义Wrapper

将输入流备份到字节数组,并重写getReader() 和 getInputStream()

 public class BodyReaderHttpServletRequestWrapper extends HttpServletRequestWrapper {
     private final byte[] bodyCopier;
 
     public BodyReaderHttpServletRequestWrapper(HttpServletRequest request) throws IOException {
         super(request);   //Anchor1
         bodyCopier = StreamUtils.copyToByteArray(request.getInputStream());
     }
 
     @Override
     public BufferedReader getReader() throws IOException {
         return new BufferedReader(new InputStreamReader(this.getInputStream()));
     }
 
     @Override
     public ServletInputStream getInputStream() throws IOException{
         return new ServletInputStreamCopier(bodyCopier);
     }
 
     public byte[] getCopy() {
         return this.bodyCopier;
     }
 
     public String getBody() throws UnsupportedEncodingException {
         return new String(this.bodyCopier, GlobalConstants.ENCODE_UTF8);
     }
 }

自定义字节流

 public class ServletInputStreamCopier extends ServletInputStream {
     private ByteArrayInputStream bais;
     
     public ServletInputStreamCopier(byte[] in) {
         this.bais = new ByteArrayInputStream(in);
     }
     
     @Override
     public boolean isFinished() {
         return bais.available() == 0;
     }
     
     @Override
     public boolean isReady() {
         return true;
     }
     
     @Override
     public void setReadListener(ReadListener readListener) {
         throw new RuntimeException("Not implemented");
     }
     
     @Override
     public int read() throws IOException {
         return this.bais.read();
     }
 }

自定义过滤器Filter

将原本的ServletRequest通过装饰包装为自定义的Wrapper,然后通过过滤链传输,这样在拦截器打印多少次body,都不会造成后续读取数据为空了。

 public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException,
        ServletException {

    httpRequest = new BodyReaderHttpServletRequestWrapper((HttpServletRequest) servletRequest);
    HttpServletResponse httpResponse = (HttpServletResponse) servletResponse;
    
    chain.doFilter(httpRequest, httpResponse);  
    ...
 }

2. 问题来了

测试请求.PNG

一个Tomcat上部署的Web应用在使用该组件的时候,问题表象是x-www-form-urlencoded的请求一直进入不了controller中,查了一下是controller中方法的入参标注了@RequestParam String username, 而这个username从request.getParameter("username")调试结果看确实是空的,最终导致Spring 的 Warning日志,所以进入不了Controller。

[o.s.w.s.m.s.DefaultHandlerExceptionResolver:189 ] - Handler execution resulted in exception: Required String parameter 'username' is not present

再次深入调试, 在IDE中添加了 request.getParameter("username")的监视点,在BodyReaderHttpServletRequestWrapper构造方法的Anchor1那行添加断点,每次运行到这里的时候监视点都可以返回正确的parameter值,而且请求也可以进入到controller中了,接口请求竟然没问题了?!
而妖异的事情是如果把Anchor1这个断点去掉,让程序直接运行,又抛出找不到parameter的警告异常也进不去controller了。

一开始确实被这个貌似“诡异”的问题给整蒙圈了,其实只要细心一点就会发现,加断点和不加断点的区别恰恰是你添加的那个监视点!!!
加上断点,在运行super()构造方法之前,先运行了request.getParameter()显示有值, 而不加断点,request.getPamameter没有机会运行,只是包装了request并复制了一把body字节数组,而这时 parameter空了!

3. 问题分析

这里有兴趣的话可以研究下request.getParameter()的具体实现,源码参考Tomcat的RequestFacade, Coyote框架及相关实现,本文这里不展开。经测试,
x-www-form-urlencoded请求在Filter中先运行request.getParameterMap() ,body的字节流随即被清空;若Filter中先运行构造方法将body复制到字节数组中,request.getParameterMap()的值同样没有值存在!

所以结论就是在这个场景下, request.getParameter() 和 body 是互斥的!!!

4. 问题解决

目前解决方案是通过在Filter中构造自定义Wrapper之前,先运行一下getParameterMap(),将参数Map从body中取出,这样后续的任何request.getParamter()都会有值,从而Spring controller的运行也不会有问题了。

public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain chain) throws IOException,
        ServletException {

        HttpServletRequest httpRequest = (HttpServletRequest) servletRequest;
        String contentType = httpRequest.getContentType();

        if (contentType != null &&
                contentType.contains(HttpContentTypeEnum.APP_X_WWW_FORM_URLENCODE.getContentType())) {
            //如果是application/x-www-form-urlencoded, 参数值在request body中以 a=1&b=2&c=3...形式存在,
            //      若直接构造BodyReaderHttpServletRequestWrapper,在将流读取并存到copy字节数组里之后,
            //      httpRequest.getParameterMap()将返回空值!
            //      若运行一下 httpRequest.getParameterMap(), body中的流将为空! 所以两者是互斥的!
            httpRequest.getParameterMap();
        }


        httpRequest = new BodyReaderHttpServletRequestWrapper(httpRequest);
        HttpServletResponse httpResponse = (HttpServletResponse) servletResponse;

5. 题记

开始参考了Spring的ContentCachingRequestWrapper对parameter进行缓存。但是一来基础组件不想严重依赖Spring,二来这个Wrapper的使用同样会出现上述问题,需要定制。最终还是决定自己来写了。

6. 补充

记录一下圈里与朋友们的讨论细节,以持续抛砖引玉。

  1. 通过Inputstream的mark reset函数实现重复消费,在http这个场景下,默认是不支持的。有兴趣的同学可以继续挖掘一下。
  2. 上述实现方式与servlet-api技术标准是否有冲突, 翻阅了一下 servlet api specification,没有发现getInputStream与getParameter互相之间的描述。 Coyote底层具体是先读进buffer再封装到inputStream,两者到底是不是可以共存?作为保留问题,留待日后继续研究。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容