操作场景
spark支持两种方式的序列化：
● Java 原生序列化 JavaSerializer
● Kryo 序列化 KryoSerializer
序列化对于 Spark 应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer 的性能可以达到 JavaSerializer 的10倍以上，而对于一些 Int 之类的基本数据类型，性能的提升微乎可微。
KryoSerializer 依赖 Twitter 的Chill库来实现，相对于 JavaSerializer， 主要的问题在于不是所有的 Java Serializable 对象都能支持，兼容性不好，所以需要手动注册类。
序列化功能用在两个地方： 序列化任务和序列化数据。 Spark任务序列化只支持 JavaSerializer，数据序列化支持 JavaSerializer 和 KryoSerializer。
操作步骤
Spark程序运行时，在 shuffle 和 RDD Cache 等过程中，会有大量的数据需要序列化，默认使用 JavaSerializer，通过配置让 KryoSerializer 作为数据序列化器来提升序列化性能。
在开发应用程序时，添加如下代码来使用 KryoSerializer 作为数据序列化器。
● 实现类注册器并手动注册类。
package com.etl.common;
import com.esotericsoftware.kryo.Kryo;
import org.apache.spark.serializer.KryoRegistrator;
public class DemoRegistrator implements KryoRegistrator {
@Override
public void registerClasses (Kryo kryo) {
//以下为示例类，需注册自定义类
kryo.register(AggrateKey.class);
kryo.register(AggrateValue.class);
}
}
可以在Spark客户端对 spark.kryo.registrationRequired 参数进行配置，设置是否需要 Kryo 注册序列化。
当参数设置为true时，如果工程中存在未被序列化的类，则会抛出异常。如果设置为 false （默认值），kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为 true 时，用户需手动注册类，针对未序列化的类，系统不会自动写入类名，而是抛出异常，相对 false，其性能要好。
● 配置 KryoSerializer 作为数据序列化器和类注册器。
val conf = new SparkConf()
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.set("spark.kryo.registrator", "com.etl.common.DemoRegistrator")
