1.Hive是什么?
Hive是一种大数据分析引擎,最早由Facebook公司发起的项目,2008年Facebook将Hive贡献给了Apache公司。Hive的本质是一种基于Hadoop的数据仓库,可以看成是Hadoop的另外一种实现方式。它定义了一种类SQL语言HiveQL(简称HQL),可以将HQL操作转换成MapReduce程序来执行,因此可以对存储在HDFS上的海量数据进行提取、转化、加载、存储、查询和分析等操作。Hive旨在为非专业程序员(如不懂Java和Python)提供一种高效的大数据分析方案,只要有SQL基础,就能使用Hive处理大数据。例如:最简单的WordCount程序(大数据领域的Helloworld程序),使用Java或者Python实现至少需要几十行甚至上百行代码,而使用Hive只需要几行代码即可。
2.Hive的体系结构
Hive提供了三种用户接口:
(1)命令行方式:Command Line Interface ( CLI ),是Hive最常用的操作方式,CLI启动的时候会同时启动一个Hive副本;
(2)API方式:JDBC/ODBC,使用Java或C++API通过Thrift Server连接到Hive Driver来操作Hive;
(3)Web方式:Web GUI,使用浏览器来访问和管理Hive。
Hive操作的数据是保存在HDFS上的,而这些数据的元信息是存储在数据库中的,默认是Hive自带的Derby数据库,也可以使用MySQL保存元信息,目前只支持这两种数据库。元信息包括表名、列名、分区、分桶、内部表、外部表等属性。
编译器、优化器、执行器完成HQL查询语句从词法分析、语法分析、编译、优化以及生成查询计划等一系列操作。生成的查询计划保存在HDFS上,并由MapReduce程序调用执行。
Hive的大部分查询都会触发一个MapReduce程序来执行,但是一些包括*号的查询,如Select * from table则不会触发MapReduce执行。
3.Hive和普通关系型数据库的异同
(1)HQL与SQL十分类似,熟悉SQL的开发人员可以快速上手Hive;
(2)Hive的数据存储在HDFS上,扩展性好(世界上最大的Hadoop集群在Yahoo,2009年的规模在4000台左右);RDBMS的数据存在本地文件系统中,扩展性差(最先进的并行数据库Oracle在理论上的扩展能力也只有100台左右);
(3)Hive没有自己的数据格式,数据格式都由用户指定,加载时不需要转换成某种既定的格式,加载速度快;RDBMS不同的数据库有不同的格式,加载数据时需要转换成对应的格式,比较耗时;
(4)Hive的特点是读多写少,不支持对数据的修改和添加,所有数据都是在加载时确定好的;RDBMS中的数据经常会增加、删除和修改;
(5)Hive没有索引,查找特定条件的数据时,需要暴力扫描整个数据,因此延迟比较高,不适合在线实时数据查询,但是由于使用MapReduce并发处理,所以可以对海量数据进行处理;RDBMS可以建立索引,加快查询效率,延迟低,适合在线查询,但是处理数据量有限;
(6)Hive中大多数查询可以触发MapReduce执行(类似select * from table不需要MapReduce);RDBMS使用自己的执行引擎;
4.Hive的执行流程
(1)客户端向Hive Driver发送一个查询请求
(2)Hive Driver向Compiler发送一个获取查询计划的请求
(3)Compiler去MetaStore中查询有无相应的数据
(4)MetaStore上如果有相应的数据,将该数据的元信息返回
(5)Compiler将查询计划和元信息一起返回给Driver
(6)Diver将查询计划和元信息发给Execution Engine执行,执行过程分为:1.将Hive操作转化成MapReduce作业发给Hadoop执行,并且同时还要与其他元数据进行交互;2.Hadoop执行完成后将结果在HDFS上的位置返回给Execution Engine;3.Execution Engine从HDFS上取得执行结果;
(7)Execution Engine将结果返回给Driver;
(8)Driver将结果返回给客户端,并等待用户交互。
5.Hive的数据类型
(1)基本数据类型
- tinyint/smallint/int/bigint:整型
- float/double:浮点型
- boolean:布尔型
- string:字符串类型
(2)复杂数据类型
- Array:数组类型
- May:集合类型
- Struct:结构类型
(3)时间类型
- Date:从Hive-0.12开始支持
- timestamp:从Hive-0.8开始支持