自动部署带有ACL的kafka集群

此脚本 可以 自动部署带有ACL的kafka集群

例如 要在机器 cent1.steven,cent2.steven,cent3.steven 上安装部署kafka 集群
只需要两部
1：下载kafka_2.11-0.11.0.2.tgz及 zookeepercli
2：在每个broker上执行此脚本

./deploy.sh 1=cent1.steven 2=cent2.steven 3=cent3.steven ${brokerId}

其中参数brokerId，在cent1.steven上执行时为1，cent2.steven上执行时为2，cent3.steven上执行时为3

脚本：

#!/bin/bash
#use e.g: cd $baseDir; ./deploy.sh 2=cent2.steven 3=cent3.steven 4=cent4.steven 2
for brokerId; do true; done
zoo=""
host=""
brokers=""
for ((i=1;i<$#;i++))
    do
         inode=${!i}
         id=${inode%=*}
         brokers=${brokers}"
server.${inode}:2888:3888"
         zoo=${zoo}${inode#*=}":2181,"
         if [ $brokerId = $id ]; then
                host=${inode#*=}
         fi
    done
zoo=${zoo%*,}
if [ "$host" = "" ] || [ $brokerId -lt 1 ]; then
   echo "not find brokerId and host"
   exit -1
fi
baseDir=$(cd `dirname $0`; pwd)
unlink kafka
rm -rf kafka_2.11-0.11.0.2 data/zookeeper/myid

#wget http://cent0.steven:8080/kafka_2.11-0.11.0.2.tgz
tar -zxvf kafka_2.11-0.11.0.2.tgz
ln -s kafka_2.11-0.11.0.2 kafka
cp zookeepercli kafka/
cd kafka
mkdir -p data/zookeeper

#kafka path
kafkaPath="/kafka"

#create zookeeper users and password
zkAdmin="zkSuper"
zkAdminPwd="zkSuper-secret"
zkServer="zkQuorum"
zkServerPwd="zkQuorum-secret"
zkLearner="zkQuorum"
zkLearnerPwd="zkQuorum-secret"
#create kafka user and password
kafkaAdmin="kafkaSuper"
kafkaAdminPwd="kafkaSuper-secret"
kafkaUser="alice"
kafkaUserPwd="alice-secret"

echo "
listeners=SASL_PLAINTEXT://0.0.0.0:9092
advertised.listeners=SASL_PLAINTEXT://${host}:9092
auto.create.topics.enable=false
delete.topic.enable=true
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:$kafkaAdmin" >> config/server.properties

echo "$brokers
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
authProvider.1=org.apache.zookeeper.server.auth.DigestAuthenticationProvider
authProvider.2=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
authProvider.3=org.apache.zookeeper.server.auth.IPAuthenticationProvider
requireClientAuthScheme=sasl
quorum.auth.enableSasl=true
quorum.auth.learnerRequireSasl=true
quorum.auth.serverRequireSasl=true
quorum.auth.learner.loginContext=QuorumLearner
quorum.auth.server.loginContext=QuorumServer" >> config/zookeeper.properties

echo "KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=$kafkaAdmin
password=$kafkaAdminPwd;

org.apache.kafka.common.security.plain.PlainLoginModule required
username=$kafkaAdmin
password=$kafkaAdminPwd
user_$kafkaAdmin=$kafkaAdminPwd
user_$kafkaUser=$kafkaUserPwd;
};
Client {
org.apache.zookeeper.server.auth.DigestLoginModule required
username=$zkAdmin
password=$zkAdminPwd;
};" > config/kafka_server_jaas.conf


echo "Server {
org.apache.zookeeper.server.auth.DigestLoginModule required
user_$zkAdmin=$zkAdminPwd
user_$kafkaAdmin=$kafkaAdminPwd;
};
QuorumServer {
org.apache.zookeeper.server.auth.DigestLoginModule required
username=$zkServer
password=$zkServerPwd
user_$zkServer=$zkServerPwd;
};
QuorumLearner {
org.apache.zookeeper.server.auth.DigestLoginModule required
username=$zkLearner
password=$zkLearnerPwd
user_$zkLearner=$zkLearnerPwd;
};" > config/kafka_zoo_jaas.conf

echo "KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username=$kafkaUser
password=$kafkaUserPwd;
};" > plain_kafka_jaas.conf

echo "KafkaClient {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=$kafkaAdmin
password=$kafkaAdminPwd;
};" > scram_kafka_jaas.conf

echo "Client {
org.apache.zookeeper.server.auth.DigestLoginModule required
username=$zkAdmin
password=$zkAdminPwd;
};" > zk_admin_jaas.conf

echo ${brokerId} > data/zookeeper/myid

sed -i "s?broker.id=0?broker.id=${brokerId}?;s?localhost:2181?$zoo$kafkaPath?" config/server.properties

sed -i "s?log.dirs=/tmp/kafka-logs?log.dirs=`pwd`/data/kafka-logs?" config/server.properties

sed -i "s?dataDir=/tmp/zookeeper?dataDir=`pwd`/data/zookeeper?" config/zookeeper.properties

sed -i "s?exec ?export JMX_PORT=9999 \nexport KAFKA_OPTS=\" -Djava.security.auth.login.config=`pwd`/config/kafka_server_jaas.conf\"\nexec ?" bin/kafka-server-start.sh
zkAdminId=`echo -n "$zkAdmin:$zkAdminPwd" | openssl sha1 -binary | base64`
sed -i "s?exec ?export KAFKA_OPTS=\" -Djava.security.auth.login.config=`pwd`/config/kafka_zoo_jaas.conf -Dzookeeper.DigestAuthenticationProvider.superDigest=$zkAdmin:$zkAdminId\"\nexec ?" bin/zookeeper-server-start.sh

#start up zookeeper server
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 
sleep 2
echo "started zookeeper server myid:$brokerId"

#start up kafka server
bin/kafka-server-start.sh -daemon config/server.properties
sleep 2
echo "started kafka server brokerId:$brokerId"

export KAFKA_OPTS=" -Djava.security.auth.login.config=`pwd`/zk_admin_jaas.conf"
# add kafkaAdmin user for SCRAM
bin/kafka-configs.sh --zookeeper localhost:2181$kafkaPath --alter --add-config "SCRAM-SHA-256=[password=$kafkaAdminPwd]" --entity-type users --entity-name $kafkaAdmin
echo "add user $kafkaAdmin to zookeeper success."
#set acl on brokers/topics
./zookeepercli -servers localhost:2181 -auth_usr=$zkAdmin -auth_pwd=$zkAdminPwd -c setacl $kafkaPath/brokers/topics sasl:$zkAdmin:cdrwa
echo "set acl for path: $kafkaPath/brokers/topics"
./zookeepercli -servers localhost:2181 -auth_usr=$zkAdmin -auth_pwd=$zkAdminPwd -c setacl $kafkaPath/kafka-acl sasl:$zkAdmin:cdrwa
echo "set acl for path: $kafkaPath/kafka-acl"

echo '
# set kafka_opts
kafkaPath="/kafka"
cd kafka
export KAFKA_OPTS=" -Djava.security.auth.login.config=`pwd`/zk_admin_jaas.conf"

# add scram user 
username="alice"
password="alice-secret"
bin/kafka-configs.sh --zookeeper localhost:2181$kafkaPath --alter --add-config "SCRAM-SHA-256=[password=$password]" --entity-type users --entity-name $username

#topic 
bin/kafka-topics.sh --create --zookeeper localhost:2181$kafkaPath --partitions 3 --replication-factor 1 --topic test
bin/kafka-topics.sh --list --zookeeper localhost:2181$kafkaPath

#authorizer
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181$kafkaPath --add --allow-principal User:* --allow-host=* --operation All --topic test --group=*
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181$kafkaPath --add --operation IdempotentWrite --allow-principal User:* --allow-host=* --cluster
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181$kafkaPath --add --operation All --allow-principal User:* --allow-host=* --transactional-id=*
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181$kafkaPath --list --topic test

#producer
export KAFKA_OPTS=" -Djava.security.auth.login.config=`pwd`/scram_kafka_jaas.conf"
bin/kafka-console-producer.sh --broker-list localhost:9092 --producer-property security.protocol=SASL_PLAINTEXT --producer-property sasl.mechanism=SCRAM-SHA-256 --topic test

#consumer
export KAFKA_OPTS=" -Djava.security.auth.login.config=`pwd`/plain_kafka_jaas.conf"
bin/kafka-console-consumer.sh --new-consumer --bootstrap-server localhost:9092 --consumer-property security.protocol=SASL_PLAINTEXT --consumer-property sasl.mechanism=PLAIN --topic test'
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,723评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,485评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,998评论 0赞 344
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,323评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,355评论 5赞 374
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,079评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,389评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,019评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,519评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,738评论 4赞 324
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,293评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2赞 345