IF...ELSE 语句 简介 Scala IF...ELSE 语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。 可以通过下图来简单了...
发简信
IP属地：北京
简介 MLlib是Spark提供提供机器学习的库，专为在集群上并行运行的情况而设计。MLlib包含很多机器学习算法，可在Spark支持的所有编程语言中使用。 MLlib设计理...
简介 Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源，比如Kafka、Flume、...
简介 Spark SQL支持多种结构化数据源，轻松从各种数据源中读取Row对象。这些数据源包括Parquet、JSON、Hive表及关系型数据库等。 当只使用一部分字...
简介 Spark SQL提供了两种方式用于将RDD转换为Dataset。 使用反射机制推断RDD的数据结构 当spark应用可以推断RDD数据结构时，可使用这种方式。...
前世今生 Hive&Shark 随着大数据时代的来临，Hadoop风靡一时。为了使熟悉RDBMS但又不理解MapReduce的技术人员快速进行大数据开发，Hive应运而生...
简介 spark执行操作时，可以使用驱动器程序Driver中定义的变量，但有时这种默认的使用方式却并不理想。 集群中运行的每个任务都会连接驱动器获取变量。如果获取的变量比...
概述 简介 JavaScript是一种轻量级的脚本语言,是可插入HTML页面的编程代码。JavaScript插入HTML页面后，由所有的现代浏览器执行。 组成部分 ECM...
spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。 本地模式 local、local[N]或local[N,maxRe...
Application 用户编写的Spark应用程序。Application的main方法为应用程序的入口，用户通过Spark的API，定义了RDD和对RDD的操作。 Job...
spark支持多种数据源，从总体来分分为两大部分：文件系统和数据库。 文件系统 文件系统主要有本地文件系统、Amazon S3、HDFS等。 文件系统中存储的文件...
简介 spark一个最重要的特性就是对数据集在各个节点的分区进行控制。控制数据分布可以减少网络开销，极大地提升整体性能。 只有Pair RDD才有分区，非Pair RD...
