redis使用fastjson序列化报错Integer can not be cast to Long

1. 问题

  Sprongboot工程中使用RedisTemplate来操作Redis,因为默认的序列化工具JdkSerializationRedisSerializer会导致存入Redis的数据带上\xAC\xED\x00\x05t\x00这种字符,通过客户端查看数据时很难阅读,一般建议用其他序列化方式替换掉JdkSerializationRedisSerializer。
  因为我们的工程中都是用的alibaba的fastjson,所以选择了FastJsonRedisSerializer这个序列化方式。使用中发现当存入redis中的数据为Long类型时,取出数据就会报错Integer can not be cast to Long(熟悉java的应该都知道,这是一个Integer类型强转Long类型的报错)。如果存入的是JavaBean,则会报错JSONObject cannot be cast to xxxxx

redis配置类:

import com.alibaba.fastjson.parser.ParserConfig;
import com.alibaba.fastjson.support.spring.FastJsonRedisSerializer;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;

import javax.annotation.Resource;

@Configuration
public class RedisConfig {

    @Resource
    private LettuceConnectionFactory redisConnectionFactory;

    static {
    // 这是为了把TestObj类加入fastjson的反序列化白名单
        ParserConfig.getGlobalInstance().addAccept("com.example.demo.config.TestObj");
    }

    @Bean
    public RedisTemplate initRedisTemplate() {
        RedisSerializer fastJsonJsonRedisSerializer = new FastJsonRedisSerializer(Object.class);
        RedisTemplate redisTemplate = new RedisTemplate();
        redisTemplate.setConnectionFactory(redisConnectionFactory);
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashValueSerializer(fastJsonJsonRedisSerializer);
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setValueSerializer(fastJsonJsonRedisSerializer);
        redisTemplate.afterPropertiesSet();
        return redisTemplate;
    }
}

2. 寻找问题

2.1 可能的问题1

  换回JdkSerializationRedisSerializer的时候,并不会报错。说明是我们使用fastjson过程中出了问题。

2.2 可能的问题2

出错的代码是:

ValueOperations<String, Long> valueOperation1 = redisTemplate.opsForValue();
Long res = valueOperation1.get("testSerialize1");

ValueOperations<String, TestObj> valueOperation2 = redisTemplate.opsForValue();
TestObj res = valueOperation2.get("testSerialize2");

其中TestObj是一个自定义类。
  我们检查一下存入redis的数据的正确性,即不传入泛型,手动序列化获取数据的结果。代码修改成以下:

ValueOperations valueOperation1 = redisTemplate.opsForValue();
Long res = Long.parseLong(valueOperation1.get("testSerialize1").toString());

ValueOperations valueOperation2 = redisTemplate.opsForValue();
TestObj res = JSON.parseObject(valueOperation2.get("testSerialize2").toString(), TestObj.class);

上面两段代码都可以正常运行,说明数据没有问题。

2.3 可能的问题3

  怀疑是泛型没起作用。
  从get()方法开始,一步步往里面看:
ValueOperations.get() -> DefaultValueOperations.get() -> AbstractOperations.get() -> RedisTemplate.execute()

  RedisTemplate.execute()中有这么一行:

T result = action.doInRedis(connToExpose);

  继续往下看:
AbstractOperations.this.deserializeValue() -> RedisSerializer.deserialize()

  RedisSerializer是一个接口,实现类就是我们使用的FastJsonRedisSerializer的deserialize()。
  看一下这个方法:

public T deserialize(byte[] bytes) throws SerializationException {
    if (bytes != null && bytes.length != 0) {
        try {
            return JSON.parseObject(bytes, this.fastJsonConfig.getCharset(), this.type, this.fastJsonConfig.getParserConfig(), this.fastJsonConfig.getParseProcess(), JSON.DEFAULT_PARSER_FEATURE, this.fastJsonConfig.getFeatures());
        } catch (Exception var3) {
            throw new SerializationException("Could not deserialize: " + var3.getMessage(), var3);
        }
    } else {
        return null;
    }
}

  通过debug观察T可以看到泛型顺利的传到了这里。但是JSON.parseObject里面使用的是this.type,跟泛型T无关,而是新建FastJsonRedisSerializer时传入的,我们一般都传入Object类。
  debug一下,我们发现

JSON.parseObject(bytes, this.fastJsonConfig.getCharset(), this.type, this.fastJsonConfig.getParserConfig(), this.fastJsonConfig.getParseProcess(), JSON.DEFAULT_PARSER_FEATURE, this.fastJsonConfig.getFeatures());

返回的是Integer类型而不是Object也不是Long。
  此时反序列化方法返回的是泛型T,相当于是使用强制类型转换(Long),把Integer转换成Long,这肯定是要报错Integer can not be cast to Long的。同样如果序列化JavaBean,这里返回的类型是JSONObject。

3. 为什么直接返回Integer或者JSONObject?

  在网上看到了这篇文章,发生了同样的问题。
  文章中提到出现该问题的原因是由JSON到Object中间经过了Map,而在Map无法识别数据类型是Long,在Integer的大小范围类就转换成了Integer。修改代码验证一下:

redisTemplate.opsForValue().set("testSerialize", Integer.MAX_VALUE+55555L);
ValueOperations<String, Long> valueOperation1 = redisTemplate.opsForValue();
Long res = valueOperation1.get("testSerialize");

因为存的数据超出了Integer的范围,所以自动转化为Long,可以正常运行。
  我们使用的序列化与反序列化方法,当中恰好包含了Map转化这一层。
  redis中其实是没有数据类型的,都是字符串,使用时按照需要进行转换处理;另外参考json和jdk序列化的区别,序列化得到的json字符串如果不做特殊处理也是不包含类型信息的。而Map作为Java的一种集合类型,其中存储的数据是有类型的。Map存储反序列化结果的时候,并不知道是Integer还是Long,无论默认使用Integer还是Long,总有一个会出问题;同样Map并不知道Object所表示的JavaBaen的类型,直接使用了JSONObject。

4. 怎么解决这个问题

  不用Map转换这个方法,涉及到fastjson序列胡与反序列化方法,不大现实。我们找其他方法。

4.1 方法1

  网上的教程一般都是叫我们改用fastjson序列化的时候使用FastJsonRedisSerializer,但是实际上还有一个类GenericFastJsonRedisSerializer(jackson也是这样)。Generic的意思是一般的、通用的,我们可以看到GenericFastJsonRedisSerializer源码中序列化方法serialize,其中SerializerFeature.WriteClassName的意思就是在序列化结果中写入类型信息。

public byte[] serialize(Object object) throws SerializationException {
    if (object == null) {
        return new byte[0];
    } else {
        try {
            return JSON.toJSONBytes(object, new SerializerFeature[]{SerializerFeature.WriteClassName});
        } catch (Exception var3) {
            throw new SerializationException("Could not serialize: " + var3.getMessage(), var3);
        }
    }
}

例如对我们上面提到的自定义类TestObj进行序列化得到的是:

{
  "@type": "com.example.demo.config.TestObj",
  "param1": "aaa",
  "param2": 99999,
  "param3": 88888
}

4.2 方法1的缺点

  如果所有使用这些需要保留类型信息的数据都是java客户端,那么就没什么问题,如果有其他语言,这个类型信息不同语言可能不通用,尤其是JavaBean的类型信息对其它语言肯定不通用。

4.3 方法2

  最开始提到的redis配置类的initRedisTemplate()方法修改为以下:

public RedisTemplate<String, TestObj> initRedisTemplate() {
      RedisSerializer fastJsonJsonRedisSerializer = new FastJsonRedisSerializer(TestObj.class);
        RedisTemplate redisTemplate = new RedisTemplate();
        redisTemplate.setConnectionFactory(redisConnectionFactory);
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashValueSerializer(fastJsonJsonRedisSerializer);
        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setValueSerializer(fastJsonJsonRedisSerializer);
        redisTemplate.afterPropertiesSet();
        return redisTemplate;
}

  直接把TestObj传入到反序列化方法中,这样Map就知道是TestObj类,而不是根据Object类猜具体类型。

4.4 方法2的缺点

  配置不通用,每个类都需要配备一个RedisConfig。没想出来怎么用泛型解决这个问题。

4.5 没得办法的办法

  如果不是必要,不要使用Long类型;
  redis中只存储JavaBean的JSONObject对象,手动转换JavaBean和JSONObject。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容