数据仓库和传统数据库的区别

数据仓库是相对稳定的，当中的数据不会发生频繁的变化，甚至不发生变化。很多情况下就只读了。当中存储了大量的历史数据。不断增加。
数据库只存储某一时刻的状态。不断变化，不保留历史数据。

Hive

Hive是构建在Hadoop顶层的数据仓库工具，因为Hadoop具有好的水平可扩展性，所以Hive也具有好的水平可扩展性。
Hive本身并不支持数据存储和数据处理，它相当于给用户提供了一种编程语言，让用户通过SQL语言去编写它的分析需求。
Hive是架构在底层的Hadoop核心组件基础之上的，通过HDFS完成数据仓库的存储，通过MapReduce完成数据仓库的分析。
Hive就是借助这两个组件来完成数据的存储和处理。这是和传统数据仓库的区别。
参考SQL语句，设计了新的语句HiveQL。用户通过运行HiveQL语句就可以运行具体的MR任务来完成数据仓库的分析。

Pig面向流式的处理语言，类似于SQL语句，Pig Latin脚本语言。它也是转换成MR。
Pig相对于Hive是一个轻量级的分析工具，它比较适合做实时交互式分析。而不是做大规模海量数据的批处理。所以Pig主要用于数据仓库的ETL环节。Hive主要用于数据仓库海量数据的批处理分析。
Pig可以替代Hive完成ETL。
交互式实时查询分析可以考虑使用HBase。
Hive分钟级响应。
Hive和Pig一般都是用于构建报表中心，为企业提供各种报表服务。报表不需要实时。

Hive使用

首先将hive的bin包上传到linux当中。

使用如下命令解压

cd到解压后的hive目录：

ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory

参考：https://www.cnblogs.com/tijun/p/7598281.html

注意：Hive是建立在hadoop顶层上的，启动Hive之前一定要启动hadoop！否则启动不了Hive。

使用Hive自带存储元数据的数据库derby有缺陷，在哪个路径启动Hive，就会在哪个路径下建立一个metastore_db。导致不同路径下产生各自的元数据，无法共享。工业界往往不采用这种方式。
推荐使用mysql存储Hive元数据。

MySQL版本的Hive安装

首先要有一个MySQL的数据库：
yum在线安装，使用如下命令：

yum install mysql mysql-server mysql-devel

离线安装使用rpm包。

首次使用使用如下命令启动：
初始化启动

/etc/init.d/mysqld start

GRANT ALL PRIVILEGES ON *.* TO '用户名'@'%' IDENTIFIED BY '密码' WITH GRANT OPTION; 

查看mysql启动情况：

设置每次开机启动mysql:

配置Hive

1. 配置HIVE_HOME环境变量

进入到hive的conf目录下修改hive-env.sh配置文件：

小技巧，使用which 定位hadoop 的路径：

修改hive-env.sh文件之后保存退出。

2. 配置元数据库信息

地址，账号，密码
和hadoop相同，如果不去配置会有默认的配置：

vi hive-site.xml

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mysql</value>
<description>password to use against metastore database</description>
</property>
</configuration>

放置mysql的连接驱动。
cd lib

将mysql的驱动放置在这个目录下：

Hive的几种启动方式(4种)

启动Hive之前一定要先启动Hadoop，因为Hive是建立在Hadoop之上的。

1. Hive交互shell bin/hive

   
   
   
   
   
   

   由于使用了mysql去存储hive的元数据，所以在不同的目录下进入hive都可以看到相同的元数据信息。
   这里先是在hive的根目录下运行hive，创建数据库，然后在hive/bin下启动hive，可以看到之前创建的数据库还在。这是和hive自带的derby不同的。

   
   
2. Hive JDBC服务(参考java jdbc连接mysql)

3. hive启动为一个服务器，来对外提供服务
   在bin目录下有一个hiveserver2

   
   
   
   

   启动之后不提示任何信息，光标一直在闪烁：

   
   
   
   这个时候node-1上就有了hive这个服务。
   在node-3上远程连接：
   先要在node-3上要有hive，使其具备hive命令：
   
   
   

   bin路径下有一个beeline，这是一个JDBC的客户端。使用它就可以连接一个已经远程启动的hive客户端。

   
   

远程连接使用beeline协议。它有自己的格式。

! connect jdbc:hive2://node-1:10000

hive2和hiveserver2对应。hive的端口号是10000。
这里输入的是linux node-1的用户名密码。
连接成功，可以查看到node-1上边Hive的信息。
而且这里显示的结果有了一个格式化的美观展示。

这里也显示出了使用mysql存储hive元数据的好处，不管是在node-2还是node-3等哪个客户端远程访问node-1的hive，都会得到相同的结果。
这是Hive最常用的方式。

4. Hive命令

    hive  -e  ‘sql’
    bin/hive -e 'select * from t_test'

-e 表示后边是一条语句，这个只能执行一次，执行结束后就会退出Hive，回到linux。

总结：最常用的是1,3两种方式，1适合自己测试，3企业中最常用。