storm

storm作业

storm启停脚本的编写:

第一步:在master节点创建start-supervisor.sh脚本,然后分发到各个服务器,就可以通过运行该脚本开启supervisor服务

start-supervisor.sh脚本

#!/bin/bash

#使配置的storm环境变量生效

source /home/hadoop/.bashrc

#后台运行supervisor

nohup storm supervisor >/dev/null  2>&1 &

第二步:在master节点创建supervisor-hosts文件,用来存放主机名

supervisor-hosts

hadoop02

hadoop03

hadoop04

第三步:在master节点创建start-all.sh启动所有supervisor

start-all.sh

#!/bin/bash

source /home/hadoop/.bashrc

#重写bin和supervisor目录

bin=/home/hadoop/apps/apache-storm-0.9.7/bin

supervisors=/home/hadoop/apps/apache-storm-0.9.7/bin/supervisor-hosts

#启动主节点

nohup storm nimbus >/dev/null  2>&1 &

#读取supervisor-hosts文件中每一个节点执行start-supervisor.sh脚本启动supervisor服务

#while后面的supervisor用来接收读取到的每一行数据

cat $supervisors | while read supervisor

do

echo $supervisor

ssh $supervisor $bin/start-supervisor.sh

done

第四步:写停止脚本

stop-all.sh

#!/bin/bash

source /home/hadoop/.bashrc

#重写bin和supervisor目录

bin=/home/hadoop/apps/apache-storm-0.9.7/bin

supervisors=/home/hadoop/apps/apache-storm-0.9.7/bin/supervisor-hosts

#把nimbus相关的进程都杀掉

kill -9 `ps -ef | grep java | grep nimbus | awk '{print $2}'`

#停止所有的supervisor

cat $supervisors | while read supervisor

do

echo $supervisor

ssh $supervisor $bin/stop-supervisor.sh &

done

第五步:在各节点的storm的bin目录下编写脚本stop-supervisor.sh

stop-supervisor.sh

#!/bin/bash

source /home/hadoop/.bashrc

#杀死supervisor进程

kill -9 `ps -ef | grep java | grep supervisor | awk '{print $2}'`

第六步:上传所有脚本到storm/bin目录下,并将start-supervisor.sh和stop-supervisor.sh分发到所有storm集群节点:Hadoop02,Hadoop04

第七步:为了防止重名:修改脚本名字为 storm-start-all.sh 和 storm-stop-all.sh

第八步:修改所有脚本运行权限:chmod 755 *.sh

在家目录下运行stop-storm-all.sh脚本

出错:

错误一:-bash: /home/hadoop/apps/apache-storm-0.9.7/bin/start-storm-all.sh: /bin/bash^M: bad interpreter: No such file or directory

[hadoop@hadoop03 bin]$ sh start-storm-all.sh

: No such file or directory /home/hadoop/.bashrc

先注释掉.bashrc命令行,在外部手动开启全局环境变量

错误二:单独运行脚本stop-supervisor.sh  arguments must be process or job IDs0


storm搭建:

官网:storm.apache.org

版本:apache-storm-1.1.1.tar.gz

配置文件storm.yaml的修改 

参考http://storm.apache.org/releases/1.1.1/Setting-up-a-Storm-cluster.html

1)storm.zookeeper.servers: This is a list of the hosts in the Zookeeper cluster for your Storm cluster. It should look something like:

storm.zookeeper.servers:

- "hadoop02"

- "hadoop03"

- "hadoop04"

2)storm.local.dir

storm.local.dir:"/home/hadoop/log/storm"

3)nimbus.seeds:---主节点

nimbus.host: "hadoop03"

4)supervisor.slots.ports:

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

发送安装包

运行storm集群

在主节点运行Nimbus:【Hadoop03】bin/storm nimbus

后台:nohup storm nimbus >/dev/null  2>&1 &

启动后台ui管理界面:nohup storm ui >/dev/null  2>&1 &

在其余节点运行Supervisor:bin/storm supervisor

后台:nohup storm supervisor >/dev/null  2>&1 &

在UI界面查看storm: http://{ui host}:8080.

强制杀死:kill -s -9 进程号

搭建集群中遇到的问题

1、参数supervisor.slots.ports是用来指定一个节点最多可以运行的task的数目,storm中一个节点最多四个task,其中的一个端口号表示一个task任务

2、启动storm之前可以先配置环境变量,然后在家目录下就可以执行命令

nohup storm nimbus >/dev/null  2>&1 &

nohup storm supervisor >/dev/null  2>&1 &

3、要查看storm的ui界面,首先要在后台开启ui管理界面才能访问

nohup storm ui >/dev/null  2>&1 &

4、nimbus和supervisor的节点选取:nimbus选取在Hadoop03(hdfs的active NameNode,纯属主观意愿),supervisor的节点选取在Hadoop02,Hadoop03,Hadoop04

5、nimbus,supervisor是什么?

storm中8大概念:

1)Topologies:拓扑任务:地铁运送乘客的任务,其中包含多个spout和bolt

2)Streams:地铁5号线,运送乘客(数据)

3)Spouts:起始站

4)Bolts:中间站

5)Stream groupings

6)Reliability

7)Tasks

8)Workers


storm架构:

默认情况下,一个supervisor节点最多可以启动4个worker进程,每一个topology默认占用一个worker进程,每个worker进程会启动1个或者多个executor,每个executor启动1个task。

最重要的是并行度/高并发以及线程安全的实现。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352

推荐阅读更多精彩内容

  • Date: Nov 17-24, 2017 1. 目的 积累Storm为主的流式大数据处理平台对实时数据处理的相关...
    一只很努力爬树的猫阅读 2,169评论 0 4
  • storm技术的引入 对于一些要求进行实时数据分析的,并以秒级、甚至毫秒级就要反馈结果的场景(交通部门监控超速车辆...
    心_的方向阅读 614评论 0 3
  • 1. Storm介绍: Storm是实时流计算框架。企业中典型实时分析框架搭建模式: Flume + Kafka ...
    奉先阅读 1,653评论 0 3
  • 一直觉得自己是一个能熬夜,不能起早的人。以前觉得这是个人习惯,没觉得有什么不好。不知从什么时候开始开始通宵熬夜之后...
    长颈鹿感恩每一天阅读 1,786评论 0 1
  • 今天第二天,没什么明显变化,早上一量发现比昨天同一时间重了两公斤,我在想晚上没吃什么呀 后来换掉牛仔裤以后少了两公...
    没困落夫斯基阅读 153评论 1 2