在 maven 仓库中我们发现 spark -core 提供scala 2.12 版本的jar包下载,但是官网并没有声明支持2.12,官网是支持2.11 的,但是有时候我们还是需要在spark-submit 上支持 2.12
scala,怎么做呢
其实很简单, 进入spark 的安装目录,在jars 目录中 你会看到spark 依赖的jar包,发现基本都是scala 2.11 版本,我们只要使用对应jar 包的2.12版本来替换就好,但是我个人建议,原来的jars包做好备份,另外替换成2.12 版本 可能不会很稳定需要不断尝试
如何让spark 2.4 支持scala 2.12
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- Spark 编程指南 概述 Spark 依赖 初始化 Spark 使用 Shell 弹性分布式数据集 (RDDs)...
- Spark 编程指南 概述 Spark 依赖 初始化 Spark 使用 Shell 弹性分布式数据集 (RDDs)...
- 1. Overview: Structured Streaming是基于Spark SQL引擎的可扩展、具有容错性...