spring templete jdbc 游标实现百万级数据导出

先直接上干货,关键代码实现:
说明:
1、mysql连接url上一定要加上此配置,不然不会生效:useCursorFetch=true
2、getPreparedStatementCreator 方法可以copy出NamedParameterJdbcTemplate中的实现,用来支持map传参。
3、createRowCallbackHandler方法是构建RowCallbackHandler类,用来处理结果数据
4、##重要事情说三遍:一定不要用jdbcTemplate.setFetchSize(1000);jdbcTemplate.setMaxRows(1000000);
来设置游标每次返回结果数量。原因是,jdbcTemplate是单例的,设置了后会导致所有的请求都使用游标查询,游标查询会导致设置的默认sql请求超时时间失效,连接不会被释放,导致数据库连接池被打满
5、使用preparedStatement.setFetchSize(int count) 来设置游标批量处理数据条数

                   log.info("游标方式执行的sql:{}" , sql);
                    JdbcTemplate jdbcTemplate = namedParameterJdbcTemplate.getJdbcTemplate();
//                    jdbcTemplate.setFetchSize(1000);
//                    jdbcTemplate.setMaxRows(1000000);
                    PreparedStatementCreator getPreparedStatementCreator = getPreparedStatementCreator(sql, new MapSqlParameterSource(request.getParams()), null);
                    jdbcTemplate.query(con->{
                        PreparedStatement preparedStatement = getPreparedStatementCreator.createPreparedStatement(con);
                        preparedStatement.setFetchSize(1000);
                        preparedStatement.setMaxRows(1000000);
                        return preparedStatement;

                    },createRowCallbackHandler(titleNames,workbook));
                    log.info("游标方式执行的sql,查询完成:{}", sql);
private RowCallbackHandler createRowCallbackHandler(final List<String> titleNames,SXSSFWorkbook workbook) {


        return new RowCallbackHandler() {
            private Map<String, List<DictionaryElementResponse>> dictMap = new HashMap<>();
            private SXSSFSheet sheet;
            @Override
            public void processRow(ResultSet resultSet) throws SQLException {
                ResultSetMetaData metaData = resultSet.getMetaData();
                int columnCount = metaData.getColumnCount();
                Object[] result = new Object[columnCount];
                for (int j = 1; j <= columnCount; j++) {
                    Object value = resultSet.getObject(j);
                    result[j - 1] = value;
                }
                   if(sheet == null){
                       String[] header = new String[titleNames.size()];
                       header = titleNames.toArray(header);
                       sheet = ExcelUtils.createdSheet(workbook, header, "导出");
                   }
                   List<Object[]> objs = new ArrayList<>();
                   objs.add(result);
                   ExcelUtils.addRows(sheet,objs);
            }
        };
    }

Reportcenter 导出本地性能测试

用例导出100w数据(124M)
测试环境:mac 4G 8线程

导出方式:原有导出功能

执行一次耗时以及内存使用情况:内存直线上升,并且不会及时回收,内存回收缓慢,且回收不完全。类加载有小幅上涨,****cpu****直接上升至50%

image
image
image

优化后游标方式导出:耗时比非游标方式导出时间少45s左

image
image

内存使用情况:内存使用平稳,****cpu****会有小幅上涨,内加载变化平稳

image

并发5次请求测试:

非游标方式5次:老年代已经被打满,cpu使用率上升至80%,导出还未结束,25分时监控已经不动,11点33还是只看到25的监控情况,监控卡死,系统宕机

image

游标方式:最小耗时4分钟,最大9分钟,平均耗时7分钟,内存使用方面,5次并发导出与一次相比无明显变化,比非游标方式1次导出所需内存小。cpu使用率最高20%左右

image

结论:
游标方式:
耗时情况:两者耗时相差不大
内存使用情况:
单次导出:无明显波动,与初始使用(500M)内存持平
并发5次导出:无明显波动,稍高于初始使用(500M)内存
cpu使用情况:
单次导出:峰值12%左右
并发5次导出:峰值20%左右
非游标方式:
耗时情况:两者相差不大
内存使用情况:
单次导出:内存波动明显,1次导出需要1G左右内存
并发5次导出:内存被打满,系统卡死,oom问题产生
cpu使用情况:
单次导出:峰值50%左右
并发5次导出:峰值80%左右,系统卡死,oom问题产生

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,265评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,078评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,852评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,408评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,445评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,772评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,921评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,688评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,130评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,467评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,617评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,276评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,882评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,740评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,967评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,315评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,486评论 2 348

推荐阅读更多精彩内容