Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - OpenLDAP的整合 - 通过搜索绑定实现用户和组的映射

在阅读本文前,为了避免概念模糊,阅读障碍,请先看完Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - OpenLDAP的整合,因为很多参数和概念都是延续下来的。

直接绑定和搜索绑定

因为使用直接绑定方式,会导致集群无法被多个团队的多个角色混用。举个例子,我们有这样的场景:

  • 用户 a1 属于组 A,组 A 对应 Sentry 中的 dev 角色;
  • 用户 a2 属于组 A,组 A 对应 Sentry 中的 dev 角色;
  • 用户 b1 属于组 B,组 B 对应 Sentry 中的 ops 角色;
  • 用户 b2 属于组 B,组 B 对应 Sentry 中的 ops 角色;

在直接绑定方式下,我们是达不到需求的,因为我们的 LDAP 目前没有用户和组的映射概念。为什么这么说?我们现在的 LDAP 节点关系在 ou 下,只有一层,直接就是用户uid了。假设我们定义了用户 a1 的 dnuid=a1,ou=people,dc=domain,dc=com ,同时我们也用一样的方式定义了 a2, b1, b2 三个用户。所以我们需要引入搜索绑定,多定义一层组的概念,才可以完成需求。也就是说 dn 应该长这样:uid=a1,cn=A,ou=groups,dc=domain,dc=com,这里的 cn 就是组的概念。我们可以通过搜索绑定结合 LDAP 的 posix group / user ,实现用户和组的映射,达到细粒度的权限控制。目前笔者只做到了一级分组,也就是说当公司壮大了之后,层级繁多情况下,是需要多层级的分组的。不过就我在阿里的 HBASE 运维经验来看,不同 BU 也可以做集群物理隔离。尤其是在 docker 日益火热的当下,这也不是什么问题,甚至虚拟化也可以满足我们的需求。再者,公司面对的私/专有云输出用户,一层权限细分在近1年场景下是绝对足够的。

关于配置,很简单,但是当时也是研究一些时间(被虐了3天左右),因为对 LDAP 不熟悉么,呵呵。在 Cloudera Mnager 中修改 HUE 配置,使用搜索绑定进行认证:

Use Search Bind Authentication = true # 使用搜索绑定认证
LDAP Search Base = dc=domain,dc=com
LDAP Bind User Distinguished Name = uid=ldap,ou=people,dc=domain,dc=com
LDAP Bind Password = ${BIND_PASSWORD}
LDAP User Filter = (objectClass=posixAccount)
LDAP Username Attribute = uid
LDAP Group Filter = (|(objectClass=organizationalUnit)(objectClass=posixGroup))
LDAP Group Name Attribute = cn
LDAP Group Membership Attribute = memberUID # 非常重要,否则无法识别映射

这里的 ${BIND_PASSWORD} 是在 Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - OpenLDAP的整合 中 **LDAP 的部署 **这一节中创建的 ldap 用户的密码。在这一步中:

  • 我们开启了搜索绑定认证方式,搜索的基础过滤字符串为 dc=domain,dc=com ,表示我们只搜索 LDAP 中 dc=com 节点下的 dc=domain 节点下的 dn (Distinguishied Name)
  • 在搜索的时候,我们使用的 dn 为 uid=ldap,ou=people,dc=domain,dc=com,这相当于是我们的超级管理员账户
  • LDAP 预先定义了多种关于账户的 objectClass,我们使用 posixAccount 作为后续的账户对象, 因为它具备和组映射相关的属性 gidNumber
  • 同时,我们使用 posixGrouporganizationalUnit 作为对组过滤的条件,前者具备核心属性 gidNumber 可以和 posixAccount 进行映射, 后者是因为我们之前在初始化的时候已经创建了一部分以 organizationalUnit 为基础的组(可以认为是公司的 BU 概念),是为了做到向后兼容。 posixGroup 还有一个非常关键的属性 memberUid ,它可以定义该组下面的成员列表,方便我们后续在 HUE 中按照组维度批量导入其下所有用户账户。

接下来我们谈谈如何正确的把 Unix / HDFS 用户导入到 LDAP 再导入到 HUE中,打通四者账户体系。

Unix / HDFS / LDAP / HUE / Sentry 账户体系

对于对接了 LDAP 作为默认账户管理的 HUE 而言,首先要有概念,整个链路上包含5个账户体系:

  • Unix 账户,大数据服务端集群必须存在对应的用户/组,是基础账户数据,目前HDFS账户对它是强依赖和一一对应;
  • HDFS 账户,因为我们默认配置的是 ShellBasedUnixAccount,所以和 Unix 账户是强映射的,大家可以仔细想下自己平时在终端怎么访问 HDFS 的;
  • LDAP 账户,大数据 LDAP 服务,数据来自Unix账户;
  • HUE账户,大数据前端分析平台账户,数据来自 LDAP;
  • Sentry账户,其实 Sentry 使用的还是 HDFS 账户,但是从权限角度讲 Sentry 的 Role 对应了 HDFS 的组,这个概念映射要特别留意;

所以理论上的操作序列为:

  • 在每一台部署有大数据服务的机器上,初始化 Unix 账户,当然 Cloudera 已经在部署的时候帮我们初始化了一系列账户,比如 hdfs, yarn, hive, hbase 等;
  • 把 Unix 账户信息同步至 OpenLDAP;
  • 把 OpenLDAP 的账户信息同步至 HUE;
  • 在 HUE 中进行 Sentry 的权限分配;

下面详细说下如何操作, 我们需要的权限包括 Unix 服务器的 root 权限,用于创建用户和组。 LDAP 服务器的超级管理员权限,用于数据导入。 HUE 的超级管理员权限, 用于用户和组信息同步,和 Sentry 权限分配。

新建 Unix 组 / 账户

以用户 yuanye 为例,他属于 bigdata_ops 组, 在 bigdata 这个部门, 公司是 domain.com。我们在所有部署了 Cloudera Agent 的服务器上创建用户 yuanye, 从属组为 bigdata_ops, 假设 uid=1001gid=1000。可以通过终端命令 id yuanye 查看 uidgid。创建用户,并且使之从属于 bigdata_ops

sudo useradd yuanye -g bigdata_ops # 请切记密码,因为一会需要使用它登录 HUE
id yuanye # 查看 uid 和 gid

出现如下信息表示创建成功:

uid=1001(yuanye) gid=1000(bigdata_ops) groups=1000(bigdata_ops)

使用初始密码进行登录,确认密码是否配好:

su - yuanye

切记, Unix 账户、LDAP 账户的密码必须一致,否则无法进行 Sentry 赋权。

如果可以正常登录用户,表示密码是OK的。

导入 Unix 组 / 账户至 LDAP

我们当然可以使用 LDAP 的 GUI 工具进行工作,但是为了便于理解,我们使用 ldif 文件和 ldapadd 命令进行操作。

好,接下来我们尝试往 LDAP 中添加一个测试组 bigdata_ops,先修改 ldif 文件 /tmp/create_group_bigdata_ops.ldif,其中定义了一个名为 bigdata 的ou,可以理解为大数据部门,定义了一个 bigdata_ops 的组,我们理解为大数据运维团队:

dn: cn=bigdata_ops,ou=bigdata,dc=domain,dc=com
objectClass: top
objectClass: posixGroup
gidNumber: ${UNIX_GROUP_NUMBER}
memberUID: ${MEMBER_UID} # 非常重要,否则无法识别映射
description: ${DESCRIPTION_STIRNG}

使用 ldapadd 导入,ldap 超级管理员密码是您之前在这篇中定义的 Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - OpenLDAP的整合

sudo ldapadd -x -D "uid=ldap,ou=people,dc=domain,dc=com" -W -f /tmp/create_group_bigdata_ops.ldif -h 192.168.1.1

查看已经导入的用户组 bigdata_ops

sudo ldapsearch -x -D "uid=ldap,ou=people,dc=domain,de=com" -W -b "cn=bigdata_ops,ou=bigdata,dc=domain,dc=com" -h 192.168.1.1

在 LDAP 中添加 yuenye 用户,先创建 ldif 文件 /tmp/create_user_yuanye.ldif,我们先不在这里定义密码,因为这样的话在执行 ldapsearch 的时候所得到的密码属性是明文,并不安全:

dn: uid=yuanye,cn=bigdata_ops,ou=bigdata,dc=domain,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: ye
sn: yuan
cn: yuanye
mail: yuanye@domain.com
telephoneNumber: XXXXXXXXXXX
mobile: XXXXXXXXXXX
manager: whoami
uid: yuanye
uidNumber: 1001
gidNumber: 1000
homeDirectory: /home/yuanye
loginShell: /bin/bash

使用 ldapadd 导入:

sudo ldapadd -x -D "uid=ldap,ou=people,dc=domain,dc=com" -f /tmp/create_user_yuanye.ldif -h 192.168.1.1 -W

使用 ldapmodify 修改密码:

sudo ldappasswd -x -D "uid=ldap,ou=people,dc=domain,dc=com" -W   "uid=yuanye,cn=bigdata_ops,ou=bigdata,dc=domain,dc=com" -S -h 192.168.1.1

再执行 search 的时候会发现多了一行 userPassword 属性,是加密后的密码:

sudo ldapsearch -x -D "uid=ldap,ou=people,dc=domain,de=com" -W -b "uid=yuanye,cn=bigdata_ops,ou=bigdata,dc=domain,dc=com" -h 192.168.1.1
...
...
...
...
userPassword:: *****************

在已经存在的 LDAP 组添加用户

假设我们现在在已经存在的 bigdata_ops 组里想添加一个新的用户,我们该怎么做呢?以添加 zhouhua 用户为例,假设我们已经创建了 Unix 账户, uid 为 1002,也是从属于 bidata_ops 组。我们首先还是创建 ldif 文件 /tmp/create_user_zhouhua.ldif

dn: uid=zhouhua,cn=bigdata_ops,ou=bigdata,dc=domain,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: hua
sn: zhou
cn: zhouhua
mail: zhouhua@domain.com
uid: zhouhua
uidNumber: 1002
gidNumber: 1000
homeDirectory: /home/zhouhua
loginShell: /bin/bash

创建 ldif 文件 /tmp/add_user_zhouhua_to_group_bigdata_ops.ldif

dn: cn=bigdata_ops,ou=bigdata,dc=domain,dc=com
changetype: modify
add: memberUid
memberUid: zhouhua

添加用户至组:

sudo ldapadd -x -D "uid=ldap,ou=people,dc=domain,dc=com" -W -f /tmp/create_user_zhouhua.ldif -h 192.168.1.1

添加组和用户的映射:

sudo ldapmodify -x -D "uid=ldap,ou=people,dc=domain,de=com" -W -f /tmp/add_user_zhouhua_to_group_bigdata_ops.ldif -h 192.168.1.1

至此,我们已经添加了两个用户 yuanye zhouhua 至分组 bigdata_ops

同步 LDAP 组 / 账户至 HUE

请注意,LDAP 中的组对应 HUE 中的组,对应 Sentry 中的一个 Role。所有 LDAP 组下的用户,都具备该组对应 Role 的权限,这样就达到了同组用户通角色的目的。

使用 admin 身份登录 HUE,选择 Manage Users -> Add/Sync LDAP Group,输入组名称 bigdata_ops,勾选Import new members,点击Add/Sync group,即完成导入,这个时候可以看到已经导入了 yuanyezhouhua 两个 用户。

小结

至此,我们讲完了基于搜索绑定 功能的用户和组映射实现。我们可以利用此功能轻松实现 HUE 基于 LDAP 的权限控制,并且映射到 Sentry 的角色。接下来我们会聊聊,传输层加密的那点事儿。我们即使已经实现了 Kerberos 认证, 但是现在数据的平台内外部传输,是通过明文,这仍然是有极大安全隐患的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容