Hive搭建
系统环境：
- Ubuntu 16
- Java 8
- Hadoop 2.7
- Hive 1.2
- MySQL
按照链接安装Java（推荐使用Oracle Java JDK）。
查看Java所在目录：
$ whereis java
在/etc/profile文件末尾添加如下内容以配置环境变量JAVA_HOME:
# JAVA
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
使之立即生效：
$ source /etc/profile
安装MySQL（注意设置数据库用户及密码）：
$ apt-get install mysql-server
$ apt install mysql-client
$ apt install libmysqlclient-dev
安装完后MySQL服务应该是自动启动了的，接下来安装SSH并配置SSH无密码登录，以方便操作：
$ apt-get install openssh-server
$ ssh-keygen -t rsa #如果提示root/.ssh/id_rsa already exists，则新创建一个目录，并且指定id_rsa存放到该目录下即可。否则都按回车即可。
$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost #此时无需输入密码就可以直接登录了
$ exit #记得退出ssh连接，以继续搭建Hadoop
下载Hadoop并进行配置：
$ wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
$ tar -zxf hadoop-2.7.6.tar.gz -C /usr/local #解压到/usr/local中
$ cd /usr/local/
$ mv ./hadoop-2.7.6/ ./hadoop #将文件夹名改为hadoop
在/etc/profile文件末尾添加如下内容以配置环境变量HADOOP_HOME:
# Hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin
使之立即生效：
$ source /etc/profile
输入如下命令来检查Hadoop是否可用，成功则会显示Hadoop版本信息：
$ hadoop version
下载Hive：
$ wget http://mirrors.cnnic.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz
$ tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /usr/local # 解压到/usr/local中
$ cd /usr/local/
$ mv apache-hive-1.2.2-bin hive # 将文件夹名改为hive
由于Hive默认使用的不是MySQL数据库，所以需要下载MySQL连接jar包。本文使用的jar包（mysql-connector-java-5.1.45.jar）可以在Maven仓库里面下载。把上述jar包移动到/usr/local/hive/lib目录下即可。
$ mv mysql-connector-java-5.1.45.jar /usr/local/hive/lib
配置MySQL以满足Hive的需要，首先连接MySQL：
$ msyql -u root -p
进入MySQL以后进行以下操作，使之适配Hive：
mysql> create user 'hive_user'@'%' identified by 'hive_pwd'; 这是Hive连接MySQL的用户名和密码，一会儿配置Hive时有用到。（要创建一个新的用户给hive使用，怕原有的用户元数据删除不干净或者有某些配置文件无法删除掉吧）
mysql> grant all privileges on *.* to 'hive_user'@'%' with grant option; 分配权限
mysql> flush privileges;
将Hive默认的配置文件复制一份：
$ cp /usr/local/hive/conf/hive-default.xml.template /usr/local/hive/conf/hive-site.xml
对hive-site.xml中原有内容进行如下修改：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive_db?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive_user</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive_pwd</value>
<description>password to use against metastore database</description>
</property>
在hive-site.xml中添加以下内容：
<property>
<name>system:java.io.tmpdir</name>
<value>/usr/local/hadoop/iotmp</value>
<description/>
</property>
<property>
<name>system:user.name</name>
<value>hive_user</value>
</property>
并创建上述配置中的目录：
$ mkdir /usr/local/hadoop/iotmp
在/etc/profile文件末尾添加如下内容以配置环境变量HIVE_HOME:
# Hive
export HIVE_HOME=/usr/local/hive
export PATH="$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf"
使之立即生效：
$ source /etc/profile
在/usr/local/hadoop/etc/hadoop/hadoop-env.sh中进行如下修改以确保Hadoop中的JAVA_HOME可以正常使用：
# The java implementation to use.
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
启动Hive前必须先启动hdfs：
$ start-dfs.sh
初始化数据库：
$ schematool -dbType mysql -initSchema
测试Hive：
$ hive
hive> create table a(id int, name string)
> row format delimited fields terminated by ',';
OK
Time taken: 0.808 seconds
hive> load data local inpath '/home/a.txt' into table a;
Loading data to table default.a
Table default.a stats: [numFiles=1, totalSize=18]
OK
Time taken: 0.187 seconds
hive> show tables;
OK
a
Time taken: 0.069 seconds, Fetched: 1 row(s)
hive> select * from a;
OK
1 h
2 i
3 v
4 e
Time taken: 0.167 seconds, Fetched: 4 row(s)
hive> dfs -ls /user/hive/warehouse/a;
Found 1 items
-rwxr-xr-x 1 root root 18 2018-07-18 00:21 /user/hive/warehouse/a/a.txt
其中/home/a.txt的内容为：
1,h
2,i
3,v
4,e
实际上细心的读者发现我们只是在上述hive-site.xml配置文件中指定了hive存放元数据的数据库为hive_db，但是并没有创建该数据库，而且上一步骤中测试hive的时候并没有指定使用该数据库。实际上使因为上一步骤中使用了默认的数据库default。
再来回顾一下hive：Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。
也即是我们以后使用hive的时候基本都是在Hive命令行(Hive Command Line)中进行的，而不会再回到mysql中进行操作，二者互不冲突的。
接下来通过操作加深理解：
$ hive
hive> show databases;
OK
default
Time taken: 0.009 seconds, Fetched: 1 row(s)
hive> use default;
OK
Time taken: 0.012 seconds
hive> show tables;
OK
a
Time taken: 0.018 seconds, Fetched: 1 row(s)
hive> create database hive_db;
OK
Time taken: 0.289 seconds
hive> show databases;
OK
default
hive_db
Time taken: 0.018 seconds, Fetched: 2 row(s)
hive> use hive_db;
OK
Time taken: 0.011 seconds
hive> show tables;
OK
Time taken: 0.028 seconds
hive>
所以以后在存储数据以及查看数据的时候记得先进入hive命令行中，使用指定的hive_db数据库，再进行操作：
hive> use hive_db;
Hive搭建完成，如果搭建过程中有任何问题，可以参考那些年我们踩过的Hive坑。
