Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。同时Spark SQL还可以作为分布式的SQL查询引擎。Spark SQL最重要的功能之一，就是从Hive中查询数据。
DataFrame是以列的形式组织的，分布式的结构化数据集合。它其实和关系型数据库中的表非常类似，但是底层做了很多的优化。DataFrame可以通过很多来源进行构建，包括：结构化的数据文件，Hive中的表，外部的关系型数据库，以及RDD。有了DataFrame后，可以非常方便地使用DataFrame API和SQL来处理数据。
-
创建DataFrame(三种)
- 第一种
val dfUsers = spark.read.format("csv").option("header", "true").load("file:///root/data/user.csv") dfUsers.printSchema // root // |-- user_id: string (nullable = true) // |-- locale: string (nullable = true) // |-- birthyear: string (nullable = true) // |-- gender: string (nullable = true) // |-- joinedAt: string (nullable = true) // |-- location: string (nullable = true) // |-- timezone: string (nullable = true)- 第二种
scala> import org.apache.spark.sql.types._ import org.apache.spark.sql.types._ scala> import org.apache.spark.sql.Row import org.apache.spark.sql.Row scala> import spark.implicits._ import spark.implicits._ // 读取文件并转换成RDD[Row]类型 scala> val uRdd = spark.sparkContext.textFile("file:///root/data/user.csv") .map(x = x.split(",")) .mapPartitionsWithIndex((index, iter) => if (index == 0) iter.drop(1) else iter) .map(Row.fromSeq(_)) uRdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[26] at map at <console>:30 // 定义Schema scala> val schema = StructType(Array(StructField("user_id", StringType, true), StructField("locale", StringType, true),StructField("birthyear", StringType, true), StructField("gender",StringType, true), StructField("joinedAt", StringType, true), StructField("location", StringType, true), StructField("timezone", StringType, true))) schema: org.apache.spark.sql.types.StructType = StructType(StructField(user_id,StringType,true), StructField(locale,StringType,true), StructField(birthyear,StringType,true), StructField(gender,StringType,true), StructField(joinedAt,StringType,true), StructField(location,StringType,true), StructField(timezone,StringType,true)) // 创建DataFrame scala> val dfUsers = spark.createDataFrame(uRdd, schema) dfUsers: org.apache.spark.sql.DataFrame = [user_id: string, locale: string ... 5 more fields] scala> dfUsers.printSchema // root // |-- user_id: string (nullable = true) // |-- locale: string (nullable = true) // |-- birthyear: string (nullable = true) // |-- gender: string (nullable = true) // |-- joinedAt: string (nullable = true) // |-- location: string (nullable = true) // |-- timezone: string (nullable = true) scala> dfUsers show 3 // +----------+------+---------+------+--------------------+------------------+--------+ // | user_id|locale|birthyear|gender| joinedAt| location|timezone| // +----------+------+---------+------+--------------------+------------------+--------+ // |3197468391| id_ID| 1993| male|2012-10-02T06:40:...| Medan Indonesia| 480| // |3537982273| id_ID| 1992| male|2012-09-29T18:03:...| Medan Indonesia| 420| // | 823183725| en_US| 1975| male|2012-10-06T03:14:...|Stratford Ontario| -240| // +----------+------+---------+------+--------------------+------------------+--------+注：由于该文件首行是列名，所以使用mapPartitionsWithIndex()函数过滤掉- 第三种
scala> val dfUsers = spark.sparkContext.textFile("file:///root/data/users.csv") .map(_.split(",")) .mapPartitionsWithIndex((index, iter) => if (index == 0) iter.drop(1) else iter) .map(x => (x(0), x(1), x(2), x(3), x(4), x(5), x(6))) .toDF("user_id", "locale", "birthyear", "gender", "joinedAt", "location", "timezone") dfUsers: org.apache.spark.sql.DataFrame = [user_id: string, locale: string ... 5 more fields] scala> dfUsers show 3 // +----------+------+---------+------+--------------------+------------------+--------+ // | user_id|locale|birthyear|gender| joinedAt| location|timezone| // +----------+------+---------+------+--------------------+------------------+--------+ // |3197468391| id_ID| 1993| male|2012-10-02T06:40:...| Medan Indonesia| 480| // |3537982273| id_ID| 1992| male|2012-09-29T18:03:...| Medan Indonesia| 420| // | 823183725| en_US| 1975| male|2012-10-06T03:14:...|Stratford Ontario| -240| // +----------+------+---------+------+--------------------+------------------+--------+- 把DataFrame持久化到内存
dfUsers.persist() - 保存到Hive表
dfUser.write.mode("overwrite").saveAsTable("sparkdf.users")
-
DataFrame Operators
- 常用操作
map, flatMap sample, filter sort pipe groupBy, groupByKey, cogroup reduce, reduceByKey, fold partitionBy ▫ zip, union join, crossJoin, leftOuterJoin, rightOuterJoin count, save first, take- 基本操作
1、 cache()同步数据的内存 2、 columns 返回一个string类型的数组，返回值是所有列的名字 3、 dtypes返回一个string类型的二维数组，返回值是所有列的名字以及类型 4、 explan()打印执行计划 物理的 5、 explain(n:Boolean) 输入值为 false 或者true ，返回值是unit 默认是false ，如果输入true 将会打印 逻辑的和物理的 6、 isLocal 返回值是Boolean类型，如果允许模式是local返回true 否则返回false 7、 persist(newlevel:StorageLevel) 返回一个dataframe.this.type 输入存储模型类型 8、 printSchema() 打印出字段名称和类型 按照树状结构来打印 9、 registerTempTable(tablename:String) 返回Unit ，将df的对象只放在一张表里面，这 个表随着对象的删除而删除了 10、 schema 返回structType 类型，将字段名称和类型按照结构体类型返回 11、 toDF()返回一个新的dataframe类型的 12、 toDF(colnames：String*)将参数中的几个字段返回一个新的dataframe类型的， 13、 unpersist() 返回dataframe.this.type 类型，去除模式中的数据 14、 unpersist(blocking:Boolean)返回dataframe.this.type类型 true 和unpersist是一样的作用false 是去除RDD- 聚合查询操作
1、 agg(expers:column*) 返回dataframe类型 ，同数学计算求值 df.agg(max("age"), avg("salary")) df.groupBy().agg(max("age"), avg("salary")) 2、 agg(exprs: Map[String, String]) 返回dataframe类型 ，同数学计算求值 map类型的 df.agg(Map("age" -> "max", "salary" -> "avg")) df.groupBy().agg(Map("age" -> "max", "salary" -> "avg")) 3、 agg(aggExpr: (String, String), aggExprs: (String, String)*) 返回dataframe类型 ，同数学计算求值 df.agg(Map("age" -> "max", "salary" -> "avg")) df.groupBy().agg(Map("age" -> "max", "salary" -> "avg")) 4、 apply(colName: String) 返回column类型，捕获输入进去列的对象 5、 as(alias: String) 返回一个新的dataframe类型，就是原来的一个别名 6、 col(colName: String) 返回column类型，捕获输入进去列的对象 7、 cube(col1: String, cols: String*) 返回一个GroupedData类型，根据某些字段来汇总 8、 distinct 去重 返回一个dataframe类型 9、 drop(col: Column) 删除某列 返回dataframe类型 10、 dropDuplicates(colNames: Array[String]) 删除相同的列 返回一个dataframe 11、 except(other: DataFrame) 返回一个dataframe，返回在当前集合存在的在其他集合不存在的 12、 explode[A, B](inputColumn: String, outputColumn: String)(f: (A) ⇒ TraversableOnce[B])(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag[B]) 返回值是dataframe类型，这个 将一个字段进行更多行的拆分 df.explode("name","names") {name :String=> name.split(" ")}.show(); 将name字段根据空格来拆分，拆分的字段放在names里面 13、 filter(conditionExpr: String): 刷选部分数据，返回dataframe类型 df.filter("age>10").show(); df.filter(df("age")>10).show(); df.where(df("age")>10).show(); 都可以 14、 groupBy(col1: String, cols: String*) 根据某写字段来汇总返回groupedate类型 df.groupBy("age").agg(Map("age" ->"count")).show();df.groupBy("age").avg().show();都可以 15、 intersect(other: DataFrame) 返回一个dataframe，在2个dataframe都存在的元素 16、 join(right: DataFrame, joinExprs: Column, joinType: String) 一个是关联的dataframe，第二个关联的条件，第三个关联的类型：inner, outer, left_outer, right_outer, leftsemi df.join(ds,df("name")===ds("name") and df("age")===ds("age"),"outer").show(); 17、 limit(n: Int) 返回dataframe类型 去n 条数据出来 18、 na: DataFrameNaFunctions ，可以调用dataframenafunctions的功能区做过滤 df.na.drop().show(); 删除为空的行 19、 orderBy(sortExprs: Column*) 做alise排序 20、 select(cols:string*) dataframe 做字段的刷选 df.select($"colA", $"colB" + 1) 21、 selectExpr(exprs: String*) 做字段的刷选 df.selectExpr("name","name as names","upper(name)","age+1").show(); 22、 sort(sortExprs: Column*) 排序 df.sort(df("age").desc).show(); 默认是asc 23、 unionAll(other:Dataframe) 合并 df.unionAll(ds).show(); 24、 withColumnRenamed(existingName: String, newName: String) 修改列表 df.withColumnRenamed("name","names").show(); 25、 withColumn(colName: String, col: Column) 增加一列 df.withColumn("aa",df("name")).show();- 行动操作
1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果有字段为空，那么不参与运算，只这对数值类型的字段。例如df.describe("age", "height").show() 5、 first() 返回第一行 ，类型是row类型 6、 head() 返回第一行 ，类型是row类型 7、 head(n:Int)返回n行 ，类型是row 类型 8、 show()返回dataframe集合的值 默认是20行，返回类型是unit 9、 show(n:Int)返回n行，，返回值类型是unit 10、 table(n:Int) 返回n行 ，类型是row 类型
