基本信息
假定两个节点
master:
172.31.0.51(内网) ec2-54-169-200-228(外网)
ssh -i ~/Desktop/waterwheel-test-key-pair-gdut.pem root@ec2-54-169-200-228.ap-southeast-1.compute.amazonaws.com
slave:
172.31.8.7(内网) ec2-13-229-103-186(外网)
ssh -i ~/Desktop/waterwheel-test-key-pair-gdut.pem root@ec2-13-229-103-186.ap-southeast-1.compute.amazonaws.com
附加步骤:
打包源码发送之前,因为运行的为cluster model,所以topology中的pom.xml要把的注释去掉
发送源码topology和web UI:
mvn package -DskipTests
整个项目,把topology/target的topology-1.0-SNAPSHOT.jar改名为waterwheel-topology.jar,web/target的webapp.war改名为waterwheel.war,把两者通过scp发送到master,
scp -i ~/Desktop/waterwheel-test-key-pair-gdut.pem -r /Users/billlin/Downloads/Waterwheel-master/topology/target/waterwheel-topology.jar -r /Users/billlin/Downloads/Waterwheel-master/web/target/waterwheel.war mm@ec2-54-169-200-228.ap-southeast-1.compute.amazonaws.com:~
(-i 密匙,-r 递归复制整个目录,两个一起发)
(记得加目的地址如 :~,可以直接发送到用户mm/ss下)
- 同理,发送script到master和slave:
scp -i ~/Desktop/waterwheel-test-key-pair-gdut.pem -r /Users/billlin/Downloads/Waterwheel-master/scripts mm@ec2-54-169-200-228.ap-southeast-1.compute.amazonaws.com:~
在wget前,先下载安装wget:
sudo yum install wget -y安装jdk后,
source ~/.bashrc
来刷新path,echo $JAVA_HOME
查看是否成功每个步骤的MASTER_IP都是输入master的内网IP(外网可能会因为防火墙等原因报错)
如果web无法通过外网登录
sudo iptables -F
关闭两台机器的防火墙最后,部署成功后,插入数据:
进入apache-storm-1.1.0/bin
执行
./storm jar ~/scripts/waterwheel-topology.jar indexinopology/topology/kingbase/KingBaseTopology -m ingest -r 10000 --ingest-server-ip 172.31.0.51
(两台机器都可能作为spout)
如果打开网页报错时,可能会是QueryCoordinator在其他ip上导致,将Tomcat部署到其他节点上
或者重新提交topology
旧数据:
172.31.14.142(内网)(54-251-130-130)
172.31.10.190(内网) (52-77-251-131)