先直接上干货,关键代码实现:
说明:
1、mysql连接url上一定要加上此配置,不然不会生效:useCursorFetch=true
2、getPreparedStatementCreator 方法可以copy出NamedParameterJdbcTemplate中的实现,用来支持map传参。
3、createRowCallbackHandler方法是构建RowCallbackHandler类,用来处理结果数据
4、##重要事情说三遍:一定不要用jdbcTemplate.setFetchSize(1000);jdbcTemplate.setMaxRows(1000000);
来设置游标每次返回结果数量。原因是,jdbcTemplate是单例的,设置了后会导致所有的请求都使用游标查询,游标查询会导致设置的默认sql请求超时时间失效,连接不会被释放,导致数据库连接池被打满
5、使用preparedStatement.setFetchSize(int count) 来设置游标批量处理数据条数
log.info("游标方式执行的sql:{}" , sql);
JdbcTemplate jdbcTemplate = namedParameterJdbcTemplate.getJdbcTemplate();
// jdbcTemplate.setFetchSize(1000);
// jdbcTemplate.setMaxRows(1000000);
PreparedStatementCreator getPreparedStatementCreator = getPreparedStatementCreator(sql, new MapSqlParameterSource(request.getParams()), null);
jdbcTemplate.query(con->{
PreparedStatement preparedStatement = getPreparedStatementCreator.createPreparedStatement(con);
preparedStatement.setFetchSize(1000);
preparedStatement.setMaxRows(1000000);
return preparedStatement;
},createRowCallbackHandler(titleNames,workbook));
log.info("游标方式执行的sql,查询完成:{}", sql);
private RowCallbackHandler createRowCallbackHandler(final List<String> titleNames,SXSSFWorkbook workbook) {
return new RowCallbackHandler() {
private Map<String, List<DictionaryElementResponse>> dictMap = new HashMap<>();
private SXSSFSheet sheet;
@Override
public void processRow(ResultSet resultSet) throws SQLException {
ResultSetMetaData metaData = resultSet.getMetaData();
int columnCount = metaData.getColumnCount();
Object[] result = new Object[columnCount];
for (int j = 1; j <= columnCount; j++) {
Object value = resultSet.getObject(j);
result[j - 1] = value;
}
if(sheet == null){
String[] header = new String[titleNames.size()];
header = titleNames.toArray(header);
sheet = ExcelUtils.createdSheet(workbook, header, "导出");
}
List<Object[]> objs = new ArrayList<>();
objs.add(result);
ExcelUtils.addRows(sheet,objs);
}
};
}
Reportcenter 导出本地性能测试
用例导出100w数据(124M)
测试环境:mac 4G 8线程
导出方式:原有导出功能
执行一次耗时以及内存使用情况:内存直线上升,并且不会及时回收,内存回收缓慢,且回收不完全。类加载有小幅上涨,****cpu****直接上升至50%
优化后游标方式导出:耗时比非游标方式导出时间少45s左
内存使用情况:内存使用平稳,****cpu****会有小幅上涨,内加载变化平稳
并发5次请求测试:
非游标方式5次:老年代已经被打满,cpu使用率上升至80%,导出还未结束,25分时监控已经不动,11点33还是只看到25的监控情况,监控卡死,系统宕机
游标方式:最小耗时4分钟,最大9分钟,平均耗时7分钟,内存使用方面,5次并发导出与一次相比无明显变化,比非游标方式1次导出所需内存小。cpu使用率最高20%左右
结论:
游标方式:
耗时情况:两者耗时相差不大
内存使用情况:
单次导出:无明显波动,与初始使用(500M)内存持平
并发5次导出:无明显波动,稍高于初始使用(500M)内存
cpu使用情况:
单次导出:峰值12%左右
并发5次导出:峰值20%左右
非游标方式:
耗时情况:两者相差不大
内存使用情况:
单次导出:内存波动明显,1次导出需要1G左右内存
并发5次导出:内存被打满,系统卡死,oom问题产生
cpu使用情况:
单次导出:峰值50%左右
并发5次导出:峰值80%左右,系统卡死,oom问题产生