24.Hive运行方式及GUI接口及权限管理(Hive6)

Hive运行方式

hive一共有四种运行方式,前面已经介绍了Cli和JDBC。
命令行方式cli:控制台模式
脚本运行方式(实际生产环境中用最多)
JDBC方式:hiveserver2
web GUI接口 (hwi、hue等)

1.命令行方式cli:控制台模式

hive使用hive>dfs -cat /usr/wc比[root@node4 ~]hdfs dfs -cat /usr/wc快,为什么?
hdfs花费时间建立连接,hive不需要(在敲hive进入hive时很耗费时间,就是建立连接)
hive也可以和linux发生交互



和本地系统交互注意加上!
与hdfs交互
执行执行dfs命令
例:dfs –ls /
与Linux交互
!开头
例: !pwd

2.Hive脚本运行方式:

hive -e "hive sql"
hive -e "hive sql">aaa
hive -S -e "">aaa # -S 代表静默模式,查询结果不显示只会追加到文件
hive -f file # 指定运行含有sql的文件,运行结束不会进入hive cli
hive -i /home/my/hive-init.sql # 指定运行含有sql的文件,运行结束会进入hive cli
hive> source file (在hive cli中运行)


3.JDBC方式:hiveserver2

20.Hive中的beeline和jdbc(hive学习3)

4.web GUI接口 (hwi、hue等)

Hive Web GUI接口
web界面安装:
下载源码包apache-hive-*-src.tar.gz
将hwi war包放在$HIVE_HOME/lib/
制作war包
制作方法:将hwi/web/*里面所有的文件打成war包
cd apache-hive-1.2.1-src/hwi/web
jar -cvf hive-hwi.war *


包应该放在服务端(node3),而不是客户端
复制tools.jar(在jdk的lib目录下)到$HIVE_HOME/lib下
修改hive-site.xml,添加以下内容

<property>
    <name>hive.hwi.listen.host</name>
    <value>0.0.0.0</value>
  </property>
  <property>
    <name>hive.hwi.listen.port</name>
    <value>9999</value>
  </property>
  <property>
    <name>hive.hwi.war.file</name>
    <value>lib/hive-hwi.war</value>
</property>

启动hwi服务(端口号9999)

hive --service hwi

浏览器通过以下链接来访问
http://node3:9999/hwi/


hwi属于hive自带的可视化工具,不常用。没必要自己搭建


hbase新版本2.x已经移除了

Hive权限管理

1、Storage Based Authorization in the Metastore Server

基于存储的授权 - 可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制(例如:列级别、行级别)。只能对表

2、SQL Standards Based Authorization in HiveServer2

基于SQL标准的Hive授权 - 完全兼容SQL的授权模型,推荐使用该模式。必须启用hiveserver2。

3、Default Hive Authorization (Legacy Mode)

hive默认授权 - 设计目的仅仅只是为了防止用户产生误操作,而不是防止恶意用户访问未经授权的数据。

官网:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Authorization

Hive - SQL Standards Based Authorization in HiveServer2

一完全兼容SQL的授权模型
除支持对于用户的授权认证,还支持角色role的授权认证

  • role可理解为是一组权限的集合,通过role为用户授权(类似于)
  • 一个用户可以具有一个或多个角色
  • 默认包含另种角色:public(普通)、admin(管理员)

二限制
1、启用当前认证方式之后,dfs, add, delete, compile, and reset等命令被禁用。
2、通过set命令设置hive configuration的方式被限制某些用户使用。
(可通过修改配置文件hive-site.xml中hive.security.authorization.sqlstd.confwhitelist进行配置)
3、添加、删除函数以及宏的操作,仅为具有admin的用户开放。
4、用户自定义函数(开放支持永久的自定义函数),可通过具有admin角色的用户创建,其他用户都可以使用。
5、Transform功能被禁用。

三在hive服务端修改配置文件hive-site.xml添加以下配置内容:

<property>
  <name>hive.security.authorization.enabled</name>
  <value>true</value>
</property>
<property>
  <name>hive.server2.enable.doAs</name>
  <value>false</value>
</property>
<property>
  <name>hive.users.in.admin.role</name>
  <value>root</value>
</property>
<property>
  <name>hive.security.authorization.manager</name>
  <value>org.apache.hadoop.hive.ql.security.authorization.plugin.sqlstd.SQLStdHiveAuthorizerFactory</value>
</property>
<property>
  <name>hive.security.authenticator.manager</name>
 <value>org.apache.hadoop.hive.ql.security.SessionStateUserAuthenticator</value>
</property>

服务端启动hiveserver2;客户端通过beeline进行连接


1启动Hivesever2.png
2启动beeline

并不能创建角色

另一种连接方式(在我的文章//www.greatytc.com/p/3d609ae3b191提到过)
[root@node2 ~]# beeline -u jdbc:hive2://node02:10000/default -n root -p hive

CREATE ROLE role_name; -- 创建角色
DROP ROLE role_name; -- 删除角色
SET ROLE (role_name|ALL|NONE); -- 设置角色
SHOW CURRENT ROLES; -- 查看当前具有的角色
SHOW ROLES; -- 查看所有存在的角色

当前用户root 不被允许执行show roles 命令。
查看当前用户的角色

jdbc:hive2://node02:10000/default> show current roles;
+---------+
| role |
+---------+
| public |
+---------+

将其角色设置为admin

0: jdbc:hive2://node02:10000/default> set role admin;

查看当前用户所属角色

0: jdbc:hive2://node02:10000/default> show current roles;
INFO : OK
INFO : Concurrency mode is disabled, not creating a lock manager
+--------+
| role |
+--------+
| admin |
+--------+

创建一个test角色

0: jdbc:hive2://node02:10000/default> create role test;
0: jdbc:hive2://node02:10000/default> show roles;
INFO : OK
INFO : Concurrency mode is disabled, not creating a lock manager
+---------+
| role |
+---------+
| admin |
| public |
| test |
+---------+

删除角色

0: jdbc:hive2://node02:10000/default> drop role test;

将角色授予某个用户、角色:

GRANT role_name [, role_name] ...
TO principal_specification [, principal_specification] ...
[ WITH ADMIN OPTION ];

principal_specification
  : USER user
  | ROLE role

移除某个用户、角色的角色:


REVOKE [ADMIN OPTION FOR] role_name [, role_name] ...
FROM principal_specification [, principal_specification] ... ;
 
principal_specification
  : USER user
  | ROLE role

查看授予某个用户、角色的角色列表

SHOW ROLE GRANT (USER|ROLE) principal_name;

查看属于某种角色的用户、角色列表

SHOW PRINCIPALS role_name;

授权和查看角色信息



移除

权限:

SELECT privilege – gives read access to an object.
INSERT privilege – gives ability to add data to an object (table).
UPDATE privilege – gives ability to run update queries on an object (table).
DELETE privilege – gives ability to delete data in an object (table).
ALL PRIVILEGES – gives all privileges (gets translated into all the above privileges).

权限的授予、移除、查看

将权限授予某个用户、角色:
GRANT
priv_type [, priv_type ] ...
ON table_or_view_name
TO principal_specification [, principal_specification] ...
[WITH GRANT OPTION];

移除某个用户、角色的权限:
REVOKE [GRANT OPTION FOR]
priv_type [, priv_type ] ...
ON table_or_view_name
FROM principal_specification [, principal_specification] ... ;

principal_specification
: USER user
| ROLE role

priv_type
: INSERT | SELECT | UPDATE | DELETE | ALL

查看某个用户、角色的权限:
SHOW GRANT [principal_name] ON (ALL| ([TABLE] table_or_view_name)

Hive权限管理


Y: Privilege required.
Y + G: Privilege "WITH GRANT OPTION" required.
本图来自官网
https://cwiki.apache.org/confluence/display/Hive/SQL+Standard+Based+Hive+Authorization
在此网页ctrl+f 输入 Privileges Required for Hive Operations就可看到

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,039评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,426评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,417评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,868评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,892评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,692评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,416评论 3 419
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,326评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,782评论 1 316
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,957评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,102评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,790评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,442评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,996评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,113评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,332评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,044评论 2 355