最新Spark入门篇

一、Spark简介

1.什么是Spark

Apache Spark是一种快速的集群计算技术，基于Hadoop MapReduce技术，扩展了MapReduce模型，主要特性是在内存中集群计算，速度更快。即使在磁盘上进行复杂计算，Spark依然比MapReduce更加高效。另一方面，Apache Spark扩展了MapReduce模型以使用更多类型的计算。

1.1 使用基于Hadoop的Spark

Spark与Hadoop是兼容的，Hadoop组件可以通过以下方式与Spark一起使用：

  • HDFS

    Spark可以在HDFS之上运行，以利用分布式存储

  • MapReduce

    Spark可以与MapReduce一起用于同一个Hadoop集群，也可以单独作为处理框架使用

  • YARN

    可以使Spark应用程序在YARN(Hadoop NextGen)上运行

  • 批处理和实时处理

    MapReduce和Spark一起使用，其中MapReduce用于批处理，Spark用于实时处理

1.2 Spark的组件

spark的组件主要有以下几种：

  • Spark Core

    Spark Core是大规模并行和分布式数据处理的基础引擎。核心是分布式执行引擎，Java，Scala和Python API为分布式ETL应用程序开发提供了一个平台。此外，在核心上构建的其他库允许用于流式传输，SQL和机器学习的各种工作负载。它负责：

    1.内存管理和故障恢复

    2.在群集上调度，分发和监视作业

    3.与存储系统交互

  • Spark Streaming

    Spark Streaming是Spark的组件，用于处理实时流数据。因此，它是核心Spark API的补充。它支持实时数据流的高吞吐量和容错流处理。基本流单元是DStream，它基本上是一系列处理实时数据的RDD(弹性分布式数据集)

  • Spark SQL

    Spark SQL是Spark中的一个新模块，它使用Spark编程API实现集成关系处理。它支持通过SQL或Hive查看数据。对于那些熟悉RDBMS的人来说，Spark SQL将很容易从之前的工具过度到可以扩展传统关系数据处理的边界。

    Spark SQL通过函数编程API集成关系处理。此外，它为各种数据源提供支持，并且使用代理转换编织SQL查询，从而产生一个非常强大的工具。

    Spark SQL包含四个库：

    1.Data Source API

    2.DataFrame API

    3.Interpreter & Optimizer

    4.SQL Service

  • GraphX

    GraphX是用于图形和图形并行计算的Spark API。因此，它使用弹性分布式属性图扩展了Spark RDD。

    属性图是一个有向多图，它可以有多个平行边。每个边和定点都有与之关联的用户定义属性。这里，平行边缘允许相同顶点之间的多个关系。在高层次上，GraphX通过引入弹性分布式属性图来扩展Spark RDD抽象：一个定向多图，其属性附加到每个顶点和边。

    为了支持图形计算，GraphX公开了一组基本运算符(如，subgraph，joinVertices和mapReduceTriplets)以及Pregel API的优化变体。此外，GraphX包含越来越多的图算法和构建起，以简化图形分析任务。

  • MLlib(Machine Learning)

    MLib代表机器学习库，用于在Apache Spark中执行机器学习功能。

2.Spark运行模式

5种模式：

  • local

    本地模式，主要用于本地开发测试

  • Standlone

    集群模式，典型的Master/slave模式

  • on yarn

    集群模式，运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算

  • on mesos

    集群模式，运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算

  • Kubernetes (experimental)

    Kubernetes 提供以容器为中心的基础设施的开源平台

3.Spark运行流程

如上图所示，spark的运行流程为：

  • Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等）
  • Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor
  • SparkContext 将程序代码（jar包或者python文件）和Task任务发送给Executor执行，并收集结果给Driver。

二、Spark安装

主机环境：ubuntu

1.下载文件

进入https://www.apache.org下载spark-2.4.3-bin-hadoop2.7.tgz

下载文件后，放到ubuntu的software文件夹

# 切换到software目录
zifan@ubuntu:~$ cd software/
zifan@ubuntu:~/software$ tar xvf spark-2.4.3-bin-hadoop2.7.tgz

移动spark文件夹到/usr/local/spark目录

# 移动文件夹使用sudo mv指令
zifan@ubuntu:~/software$ sudo mv spark-2.4.3-bin-hadoop2.7 /usr/local/spark

切换到/usr/local/spark目录查看

# 切换到/usr/local/spark目录
zifan@ubuntu:~/software$ cd /usr/local/spark
zifan@ubuntu:/usr/local/spark$ ls
bin   data      jars        LICENSE   NOTICE  R          RELEASE  yarn
conf  examples  kubernetes  licenses  python  README.md  sbin

2.配置Spark环境变量

zifan@ubuntu:/usr/local/spark$ sudo vi ~/.bashrc
# 打开文件，最后一行加上
export PATH=$PATH:/usr/local/spark/bin

使配置生效

zifan@ubuntu:/usr/local/spark$ source ~/.bashrc

3.验证Spark安装

在控制台输入spark-shell指令

zifan@ubuntu:/usr/local/spark$ spark-shell

如果出现以下输出结果，则表示spark安装成功。

Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.3
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_171)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

4.退出

使用Ctrl+D或:quit退出

三、使用Java开发本地Spark应用

1. 操作步骤

以下表述为在ubuntu环境里面操作的记录。

  • 安装maven

    https://maven.apache.org，选择合适的版本下载，这里选择的是apache-maven-3.6.1-bin.tar.gz版本

    下载文件后，放到ubuntu的software文件夹

    # 切换到software目录
zifan@ubuntu:~$ cd software/
zifan@ubuntu:~/software$ tar zxvf apache-maven-3.6.1-bin.tar.gz

    移动文件夹到/usr/local/maven目录

    # 移动文件夹使用sudo mv指令
zifan@ubuntu:~/software$ sudo mv apache-maven-3.6.1 /usr/local/maven

    切换到/usr/local/maven目录查看

    # 切换到/usr/local/sbt
zifan@ubuntu:~/software$ cd /usr/local/maven
zifan@ubuntu:/usr/local/maven$ ls
bin  boot  conf  lib  LICENSE  NOTICE  README.txt

    配置环境变量

    zifan@ubuntu:~/sparkapp2$ sudo vim ~/.bashrc

    在文件末尾添加

    export M2_HOME=/usr/local/maven
export CLASSPATH=$CLASSPATH:$M2_HOME/lib
export PATH=$PATH:$M2_HOME/bin

    保存后退出

    使环境变量生效

    zifan@ubuntu:~/sparkapp2$ source ~/.bashrc

    测试

    zifan@ubuntu:~/sparkapp2$ mvn -v

    显示内容表示安装成功

    Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-09-05T03:00:29+08:00)
Maven home: /usr/local/maven
Java version: 1.8.0_171, vendor: Oracle Corporation, runtime: /home/zifan/software/jdk1.8.0_171/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "4.4.0-142-generic", arch: "amd64", family: "unix"

  • 编写Java应用程序

    1.创建文件夹sparkapp2作为应用程序根目录

    # 逐级创建目录
zifan@ubuntu:~$ mkdir -p ./sparkapp2/src/main/java

    2.在./sparkapp2/src/main/java目录下创建SparkTest1.java

    zifan@ubuntu:~$ vim ./sparkapp2/src/main/java/SparkTest1.java

    写入以下内容

    /*** SparkTest1.java ***/
    import org.apache.spark.api.java.*;
    import org.apache.spark.SparkConf;
    import org.apache.spark.api.java.function.Function;
 
    public class SparkTest1 {
        public static void main(String[] args) {
            String logFile = "file:///usr/local/spark/README.md"; // 此文件为安装时的说明文件
            SparkConf conf=new SparkConf().setAppName("SparkTest1");
            JavaSparkContext sc=new JavaSparkContext(conf);
            JavaRDD<String> logData = sc.textFile(logFile).cache();
 
            long A1 = logData.filter(new Function<String, Boolean>() {
                public Boolean call(String s) { return s.contains("spark"); }
            }).count();
 
            long B1 = logData.filter(new Function<String, Boolean>() {
                public Boolean call(String s) { return s.contains("test"); }
            }).count();
 
            System.out.println("Lines with spark: " + A1 + ", lines with test: " + B1);
        }
    }

    该程序依赖Spark Java API，需要通过Maven进行编译打包。

    3.在./sparkapp2中新建文件pom.xml

    zifan@ubuntu:~$ vim ./sparkapp2/pom.xml

    写入内容

            <project>
        <groupId>com.zifan.example</groupId>
        <artifactId>sparktest1-project</artifactId>
        <modelVersion>4.0.0</modelVersion>
        <name>Spark Project</name>
        <packaging>jar</packaging>
        <version>1.0</version>
        <repositories>
        <repository>
            <id>maven-ali</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public//</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
                <updatePolicy>always</updatePolicy>
                <checksumPolicy>fail</checksumPolicy>
            </snapshots>
        </repository>
    </repositories>
        <dependencies>
            <dependency> <!-- Spark依赖，注意version为spark版本 -->
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <version>2.4.3</version>
            </dependency>
        </dependencies>
    </project>

  • 使用maven打包java程序

    1.为了保证maven能够正常运行，先执行如下命令检查整个应用程序的文件结构

    zifan@ubuntu:~$ cd sparkapp2
zifan@ubuntu:~/sparkapp2$ find .
# 结果显示
.
./pom.xml
./src
./src/main
./src/main/java
./src/main/java/SparkTest1.java

    2.使用mvn打包

    # sparkapp2目录下执行
zifan@ubuntu:~/sparkapp2$ mvn package

    结果显示

    Downloaded from central: https://repo.maven.apache.org/maven2/org/codehaus/plexus/plexus-io/2.0.2/plexus-io-2.0.2.jar (58 kB at 3.6 kB/s)
Downloaded from central: https://repo.maven.apache.org/maven2/org/codehaus/plexus/plexus-archiver/2.1/plexus-archiver-2.1.jar (184 kB at 4.0 kB/s)
[INFO] Building jar: /home/zifan/sparkapp2/target/sparktest1-project-1.0.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  0:45 min
[INFO] Finished at: 2019-09-20T20:26:15+08:00
[INFO] ------------------------------------------------------------------------

    至此jar包完成，下面讲述通过spark运行的方式，spark运行jar包通过spark-submit命令进行。

    spark-submit的命令格式：

    ./bin/spark-submit 
  --class <main-class>  //需要运行的程序的主类，应用程序的入口点
  --master <master-url>  //Master URL，下面会有具体解释
  --deploy-mode <deploy-mode>   //部署模式
  ... # other options  //其他参数
  <application-jar>  //应用程序JAR包
  [application-arguments] //传递给主类的主方法的参数

    deploy-mode这个参数用来指定应用程序的部署模式，部署模式有两种：client和cluster，默认是client。

    这两种模式的区别就是是否在本地运行程序，client模式会在本地运行；而cluster模式时，则不会，该模式一般会在Worker节点上运行程序。

    Spark的运行模式取决于传递给SparkContext的Master URL的值。Master URL可以选择以下其中一种形式：

    1.local 使用一个Worker线程本地化运行SPARK(完全不并行)

    2.local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark

    3.local[K] 使用K个Worker线程本地化运行Spark

    4.spark://HOST:PORT 连接到指定的Spark standalone master，本地独立集群运行，默认端口是7077

    5.yarn-client 以客户端模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到

    6.yarn-cluster 以集群模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到

    7.mesos://HOST:PORT 连接到指定的Mesos集群。默认接口是5050

从上可以看出，本地化运行模式主要有前四种。前三种都是local模式，第四种为standalone模式。因此本地模式大致可以分为local和standalone 两个大类。

2. 本地local模式

  • 运行程序

将生成的jar包通过spark-submit提交到Spark中运行，命令如下

# --master local[4]表示采用本地模式，在4个CPU核心上运行spark-shell
zifan@ubuntu:~/sparkapp$ /usr/local/spark/bin/spark-submit --class "SparkTest1" --master local[4] ~/sparkapp2/target/sparktest1-project-1.0.jar

最终显示结果

Lines with spark: 13, lines with test: 8

这个程序是计算一个文本文件中包含”spark"的行数和包含“test”的行数，注意统计是区分大小写的。

运行结果截图如下

3.本地独立集群模式

本地独立集群方式（Spark standalone），这里主要讲下本地独立集群模式的web-ui页面

  • 启动Master
zifan@ubuntu:~$ cd /usr/local/spark
zifan@ubuntu:/usr/local/spark$ sbin/start-master.sh

打开http://ubuntu主机IP地址:8080/,界面如下:

  • 启动Slave

注意图中的url

zifan@ubuntu:/usr/local/spark$ sbin/start-slave.sh spark://ubuntu:7077

启动成功后，刷新下页面，可以看到Alive Workers已经有值了

将jar包放置于spark中运行

# --master spark://ubuntu:7077表示采用本地独立集群模式运行spark-shell
zifan@ubuntu:~/sparkapp$ /usr/local/spark/bin/spark-submit --class "SparkTest1" --master spark://ubuntu:7077 ~/sparkapp2/target/sparktest1-project-1.0.jar

可以看到在Completed Applications栏多了一条记录，这条记录即为刚执行完的程序。

最终显示结果

Lines with spark: 13, lines with test: 8

运行结果截图如下

4.总结

上面的例子应该来说是比较简单的，spark框架优点在于处理大数据时的高效率，特别是对于百万级以上的数据，spark有着惊人的处理效率。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,602评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,442评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,878评论 0赞 344
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,306评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,330评论 5赞 373
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,071评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,382评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,006评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,512评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,732评论 4赞 323
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,283评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2赞 345