二.Hive安装

2.1 Hive安装地址

1）Hive官网地址：

http://hive.apache.org/

2）文档查看地址：

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3）下载地址：

http://archive.apache.org/dist/hive/

4）github地址：

https://github.com/apache/hive

2.2 Hive安装部署

1）Hive安装及配置

（1）使用rz命令上传

（2）解压到执行目录

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

（3）修改名称为hive

mv apache-hive-1.2.1-bin/ hive

（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

mv hive-env.sh.template hive-env.sh

（5）配置hive-env.sh文件

（a）配置HADOOP_HOME路径

export HADOOP_HOME=/opt/module/hadoop-2.8.4

（b）配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/opt/module/hive/conf

注：Hive的log默认存放在/tmp/itstar/hive.log目录下（当前用户名下）。

（1）修改hive的log存放日志到/opt/module/hive/logs

（2）修改conf/hive-log4j.properties.template文件名称为hive-log4j.properties

 pwd /opt/module/hive/conf

mv hive-log4j.properties.template hive-log4j.properties

（3）在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2）Hadoop集群配置

（1）必须启动hdfs和yarn

 sbin/start-dfs.sh

sbin/start-yarn.sh

（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

bin/hadoop fs -mkdir /tmp

 bin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp

 bin/hadoop fs -chmod g+w /user/hive/warehouse

2.3 MySql安装(略)

2.4 Hive元数据配置到MySql

2.4.1 驱动拷贝

1）上传mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

2.4.2 配置Metastore到MySql

1）在/opt/module/hive/conf目录下创建一个hive-site.xml

 touch /opt/module/hive/conf/hive-site.xml

2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

        <property>

          <name>javax.jdo.option.ConnectionURL</name>

          <value>jdbc:mysql://bigdata111:3306/metastore?createDatabaseIfNotExist=true</value>

          <description>JDBC connect string for a JDBC metastore</description>

        </property>

        <property>

          <name>javax.jdo.option.ConnectionDriverName</name>

          <value>com.mysql.jdbc.Driver</value>

          <description>Driver class name for a JDBC metastore</description>

        </property>

        <property>

          <name>javax.jdo.option.ConnectionUserName</name>

          <value>root</value>

          <description>username to use against metastore database</description>

        </property>

        <property>

          <name>javax.jdo.option.ConnectionPassword</name>

          <value>000000</value>

          <description>password to use against metastore database</description>

        </property>

        <property>

                <name>hive.metastore.warehouse.dir</name>

                <value>/user/hive/warehouse</value>

                <description>location of default database for the warehouse</description>

        </property>

        <property>

                <name>hive.cli.print.header</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.cli.print.current.db</name>

                <value>true</value>

        </property>

</configuration>

3）配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

4）在hive的bin目录下执行./schematool -dbType mysql -initSchema

元数据修改成功：

重新启动hive，对比配置前后差异

（1）配置前

（2）配置后

3）Hive基本操作

（1）启动hive

 bin/hive

（2）查看数据库

hive>show databases;

（3）打开默认数据库

hive>use default;

（4）显示default数据库中的表

hive>show tables;

（5）创建一张表

hive> create table student(id int, name string) ;

（6）显示数据库中有几张表

hive>show tables;

（7）查看表的结构

hive>desc student;

（8）向表中插入数据

hive> insert into student values(1001,"ss1");

（9）查询表中数据

hive> select * from student;

（10）退出hive

hive> quit;

注：配置完mysql作为Hive的元数据库后，才可以使用多个xshell客户端打开hive操作。

2.5 将本地文件导入Hive案例

需求：将本地/opt/module/datas/student.txt这个目录下的数据导入到hive的student(id int, name string)表中。

1）数据准备：在/opt/module/datas/student.txt这个目录下准备数据

（1）数据准备 mkdir /opt/module/datas

（2）创建文本  touch /opt/module/datas/student.txt

 vi student.txt

1001 zhangshan

1002 lishi

1003 zhaoliu

注意以tab（‘\t’）键间隔。

2）Hive实际操作

（1）启动hive

 bin/hive

（2）显示数据库

hive>show databases;

（3）使用default数据库

hive>use default;

（4）显示default数据库中的表

hive>show tables;

（5）删除已创建的student表

hive> drop table student;

（6）创建student表, 并声明文件分隔符’\t’

hive> create table student1(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

（7）加载/opt/module/datas/student.txt 文件到student数据库表中。

hive> load data local inpath '/opt/module/datas/student.txt' into table student;

（8）Hive查询结果

hive> select * from student;

OK

1001 zhangshan

1002 lishi

1003 zhaoliu

Time taken: 0.266 seconds, Fetched: 3 row(s)

（9）帮助命令

 bin/hive -help

2.6 Hive常用交互命令

1）“-e”不进入hive的交互窗口执行sql语句

[itstar@bigdata111hive]$ bin/hive -e "select id from student;"

2）“-f”执行脚本中sql语句

（1）在/opt/module/datas目录下创建hivef.sql文件

 touch hivef.sql

文件中写入正确的sql语句

select *from student;

（2）执行文件中的sql语句

bin/hive -f /opt/module/datas/hivef.sql

（3）执行文件中的sql语句并将结果写入文件中(注：可能含有其他的表信息，如表头)

 bin/hive -f /opt/module/datas/hivef.sql  > /opt/module/datas/hive_result.txt

student.id      student.name

1001    zhangshan

1002    lishi

1003    zhaoliu

2.7 Hive其他命令操作

1）退出hive窗口：

hive(default)>exit; exit:先隐性提交数据，再退出；

hive(default)>quit; quit:不提交数据，退出；

在新版中没区别了，在以前的版本是有的：

2）在hive cli命令窗口中如何查看hdfs文件系统

hive(default)>dfs -ls /;

3）在hive cli命令窗口中如何查看hdfs本地系统

hive(default)>! ls /opt/module/datas;

4）查看在hive中输入的所有历史命令

（1）进入到当前用户的根目录/root或/home/itstar

（2）查看. hivehistory文件

 cat .hivehistory

2.8 参数配置方式

1）查看当前所有的配置信息

hive>set;

2）参数的配置三种方式

（1）配置文件方式

默认配置文件：hive-default.xml

用户自定义配置文件：hive-site.xml

注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

（2）命令行参数方式

启动Hive时，可以在命令行添加-hiveconf param=value来设定参数。

例如：

 bin/hive -hiveconf mapred.reduce.tasks=10;

注意：仅对本次hive启动有效

查看参数设置：

hive (default)> set mapred.reduce.tasks;

显示为：mapred.reduce.tasks=10

默认mapred.reduce.tasks=-1

（3）参数声明方式

可以在HQL中使用SET关键字设定参数

例如：

hive (default)> set mapred.reduce.tasks=10;

注意：仅对本次hive启动有效。

查看参数设置

hive (default)> set mapred.reduce.tasks;

上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,013评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,205评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,370评论 0赞 342
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,168评论 1赞 278
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,153评论 5赞 371
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,954评论 1赞 283
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,271评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,916评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,382评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,877评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,989评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,624评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,209评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,199评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,418评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,401评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,700评论 2赞 345

推荐阅读更多精彩内容