大数据老司机

一、什么是Maven？ Apache Maven是一个软件项目管理的综合工具。基于项目对象模型（POM）的概念，提供了帮助管理构建、文档、报告、依赖、发布等方法，Maven简...

大数据老司机

一、概述 Spark Streaming[https://spark.apache.org/docs/3.2.0/streaming-programming-guide.ht...

大数据老司机

一、Spark on Hive 和 Hive on Spark的区别 1）Spark on Hive Spark on Hive 是Hive只作为存储角色，Spark负责sq...

大数据老司机

一、Spark SQL概述 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象叫做DataFrame和DataSet并且作为分布式SQL查询引擎...

大数据老司机

一、Spark概述 Spark基础概念和原理讲解可以参考我上篇博文：大数据Hadoop之——计算引擎Spark[//www.greatytc.com/p/e49f3...

大数据老司机

@[TOC] 一、概述 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的A...

大数据老司机

一、概述 Hive是基于Hadoop的一个数据仓库（Data Aarehouse，简称，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。是用于存储、分析、报...

大数据老司机

一、Hadoop概述 Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapRedu...

大数据老司机

一、概述 Hadoop是Apache软件基金会下一个开源分布式计算平台，以hdfs（Hadoop Distributed File System）、MapReduce（Had...