1. 问题
Sprongboot工程中使用RedisTemplate来操作Redis,因为默认的序列化工具JdkSerializationRedisSerializer会导致存入Redis的数据带上\xAC\xED\x00\x05t\x00
这种字符,通过客户端查看数据时很难阅读,一般建议用其他序列化方式替换掉JdkSerializationRedisSerializer。
因为我们的工程中都是用的alibaba的fastjson,所以选择了FastJsonRedisSerializer这个序列化方式。使用中发现当存入redis中的数据为Long类型时,取出数据就会报错Integer can not be cast to Long
(熟悉java的应该都知道,这是一个Integer类型强转Long类型的报错)。如果存入的是JavaBean,则会报错JSONObject cannot be cast to xxxxx
。
redis配置类:
import com.alibaba.fastjson.parser.ParserConfig;
import com.alibaba.fastjson.support.spring.FastJsonRedisSerializer;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import javax.annotation.Resource;
@Configuration
public class RedisConfig {
@Resource
private LettuceConnectionFactory redisConnectionFactory;
static {
// 这是为了把TestObj类加入fastjson的反序列化白名单
ParserConfig.getGlobalInstance().addAccept("com.example.demo.config.TestObj");
}
@Bean
public RedisTemplate initRedisTemplate() {
RedisSerializer fastJsonJsonRedisSerializer = new FastJsonRedisSerializer(Object.class);
RedisTemplate redisTemplate = new RedisTemplate();
redisTemplate.setConnectionFactory(redisConnectionFactory);
redisTemplate.setHashKeySerializer(new StringRedisSerializer());
redisTemplate.setHashValueSerializer(fastJsonJsonRedisSerializer);
redisTemplate.setKeySerializer(new StringRedisSerializer());
redisTemplate.setValueSerializer(fastJsonJsonRedisSerializer);
redisTemplate.afterPropertiesSet();
return redisTemplate;
}
}
2. 寻找问题
2.1 可能的问题1
换回JdkSerializationRedisSerializer的时候,并不会报错。说明是我们使用fastjson过程中出了问题。
2.2 可能的问题2
出错的代码是:
ValueOperations<String, Long> valueOperation1 = redisTemplate.opsForValue();
Long res = valueOperation1.get("testSerialize1");
ValueOperations<String, TestObj> valueOperation2 = redisTemplate.opsForValue();
TestObj res = valueOperation2.get("testSerialize2");
其中TestObj是一个自定义类。
我们检查一下存入redis的数据的正确性,即不传入泛型,手动序列化获取数据的结果。代码修改成以下:
ValueOperations valueOperation1 = redisTemplate.opsForValue();
Long res = Long.parseLong(valueOperation1.get("testSerialize1").toString());
ValueOperations valueOperation2 = redisTemplate.opsForValue();
TestObj res = JSON.parseObject(valueOperation2.get("testSerialize2").toString(), TestObj.class);
上面两段代码都可以正常运行,说明数据没有问题。
2.3 可能的问题3
怀疑是泛型没起作用。
从get()方法开始,一步步往里面看:
ValueOperations.get() -> DefaultValueOperations.get() -> AbstractOperations.get() -> RedisTemplate.execute()
RedisTemplate.execute()中有这么一行:
T result = action.doInRedis(connToExpose);
继续往下看:
AbstractOperations.this.deserializeValue() -> RedisSerializer.deserialize()
RedisSerializer是一个接口,实现类就是我们使用的FastJsonRedisSerializer的deserialize()。
看一下这个方法:
public T deserialize(byte[] bytes) throws SerializationException {
if (bytes != null && bytes.length != 0) {
try {
return JSON.parseObject(bytes, this.fastJsonConfig.getCharset(), this.type, this.fastJsonConfig.getParserConfig(), this.fastJsonConfig.getParseProcess(), JSON.DEFAULT_PARSER_FEATURE, this.fastJsonConfig.getFeatures());
} catch (Exception var3) {
throw new SerializationException("Could not deserialize: " + var3.getMessage(), var3);
}
} else {
return null;
}
}
通过debug观察T可以看到泛型顺利的传到了这里。但是JSON.parseObject里面使用的是this.type
,跟泛型T无关,而是新建FastJsonRedisSerializer时传入的,我们一般都传入Object类。
debug一下,我们发现
JSON.parseObject(bytes, this.fastJsonConfig.getCharset(), this.type, this.fastJsonConfig.getParserConfig(), this.fastJsonConfig.getParseProcess(), JSON.DEFAULT_PARSER_FEATURE, this.fastJsonConfig.getFeatures());
返回的是Integer类型而不是Object也不是Long。
此时反序列化方法返回的是泛型T,相当于是使用强制类型转换(Long),把Integer转换成Long,这肯定是要报错Integer can not be cast to Long
的。同样如果序列化JavaBean,这里返回的类型是JSONObject。
3. 为什么直接返回Integer或者JSONObject?
在网上看到了这篇文章,发生了同样的问题。
文章中提到出现该问题的原因是由JSON到Object中间经过了Map,而在Map无法识别数据类型是Long,在Integer的大小范围类就转换成了Integer。修改代码验证一下:
redisTemplate.opsForValue().set("testSerialize", Integer.MAX_VALUE+55555L);
ValueOperations<String, Long> valueOperation1 = redisTemplate.opsForValue();
Long res = valueOperation1.get("testSerialize");
因为存的数据超出了Integer的范围,所以自动转化为Long,可以正常运行。
我们使用的序列化与反序列化方法,当中恰好包含了Map转化这一层。
redis中其实是没有数据类型的,都是字符串,使用时按照需要进行转换处理;另外参考json和jdk序列化的区别,序列化得到的json字符串如果不做特殊处理也是不包含类型信息的。而Map作为Java的一种集合类型,其中存储的数据是有类型的。Map存储反序列化结果的时候,并不知道是Integer还是Long,无论默认使用Integer还是Long,总有一个会出问题;同样Map并不知道Object所表示的JavaBaen的类型,直接使用了JSONObject。
4. 怎么解决这个问题
不用Map转换这个方法,涉及到fastjson序列胡与反序列化方法,不大现实。我们找其他方法。
4.1 方法1
网上的教程一般都是叫我们改用fastjson序列化的时候使用FastJsonRedisSerializer,但是实际上还有一个类GenericFastJsonRedisSerializer(jackson也是这样)。Generic的意思是一般的、通用的,我们可以看到GenericFastJsonRedisSerializer源码中序列化方法serialize,其中SerializerFeature.WriteClassName
的意思就是在序列化结果中写入类型信息。
public byte[] serialize(Object object) throws SerializationException {
if (object == null) {
return new byte[0];
} else {
try {
return JSON.toJSONBytes(object, new SerializerFeature[]{SerializerFeature.WriteClassName});
} catch (Exception var3) {
throw new SerializationException("Could not serialize: " + var3.getMessage(), var3);
}
}
}
例如对我们上面提到的自定义类TestObj进行序列化得到的是:
{
"@type": "com.example.demo.config.TestObj",
"param1": "aaa",
"param2": 99999,
"param3": 88888
}
4.2 方法1的缺点
如果所有使用这些需要保留类型信息的数据都是java客户端,那么就没什么问题,如果有其他语言,这个类型信息不同语言可能不通用,尤其是JavaBean的类型信息对其它语言肯定不通用。
4.3 方法2
最开始提到的redis配置类的initRedisTemplate()方法修改为以下:
public RedisTemplate<String, TestObj> initRedisTemplate() {
RedisSerializer fastJsonJsonRedisSerializer = new FastJsonRedisSerializer(TestObj.class);
RedisTemplate redisTemplate = new RedisTemplate();
redisTemplate.setConnectionFactory(redisConnectionFactory);
redisTemplate.setHashKeySerializer(new StringRedisSerializer());
redisTemplate.setHashValueSerializer(fastJsonJsonRedisSerializer);
redisTemplate.setKeySerializer(new StringRedisSerializer());
redisTemplate.setValueSerializer(fastJsonJsonRedisSerializer);
redisTemplate.afterPropertiesSet();
return redisTemplate;
}
直接把TestObj传入到反序列化方法中,这样Map就知道是TestObj类,而不是根据Object类猜具体类型。
4.4 方法2的缺点
配置不通用,每个类都需要配备一个RedisConfig。没想出来怎么用泛型解决这个问题。
4.5 没得办法的办法
如果不是必要,不要使用Long类型;
redis中只存储JavaBean的JSONObject对象,手动转换JavaBean和JSONObject。