azkaban有2种集群模式:
1.首先需要在web-server配置多节点模式
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
2.配置存储模式
azkaban有2种3模式:
1).local
单机情况下使用
azkaban.storage.type=LOCAL
azkaban.storage.local.basedir=/home/az/LOCAL_STORAGE
2).db
集群、多节点模式
azkaban.storage.type 默认模式,上传zip包存在db的blob字段中
3).hdfs
集群、多节点模式
azkaban.storage.type=HDFS
azkaban.storage.hdfs.root.uri=hdfs://nameservice1/tmp/az
hadoop.conf.dir.path=/etc/hadoop/conf
3.服务启动
多节点集群模式需要先启动所有exec-server,再启动web-server
web-server是启动时加载exec节点的,不会动态刷新(版本3.30.1)
bin/azkaban-executor-start.sh
bin/azkaban-web-start.sh