虚拟机Java与Hadoop的安装与配置
- Java安装
- 1.开启vm共享文件夹,并将jdk与Hadoop的安装文件放入共享文件夹,使用cd /mnt/hgfs进入共享文件夹
- 2.使用linux复制语句,将文件全部从共享文件夹中复制到/usr/local/src
- 3.获取管理员权限,转入/usr/local/src 文件夹,运行jdk安装文件
- 4.配置jdk环境变量,vim ~/.bashrc,打开文件,输入如图属性(此处使用的jdk版本为1.6.0_45),保存退出
image.png
- Hadoop安装
- 1.获取管理员权限,进入/usr/local/src
- 2.解压Hadoop安装文件
集群搭建
- 1.进入/usr/local/src中的Hadoop解压文件夹,并创建tmp,用于放置临时文件
- 2.进入Hadoop文件下的conf文件夹,更改masters,slaves,core-site.xml,mapred-site.xml,hdfs-site.xml,hadoop-env.sh
masters
image.png
slaves
image.png
core-site.xml
image.png
mapred-site.xml
image.png
hdfs-site.xml
image.png
hadoop-env.sh
image.png
- 6.配置本地网络,更改hosts文件,在文件中添加如图,保存退出
image.png
- 4.执行hostname master,更改/etc/sysconfig/network,将hostname更改为master,保存退出
- 5.将虚拟机所在文件复制3份,导入VMware Workstation Pro
- 6.更改slave1与slave2的IP地址与在hosts中设置的IP地址一致,并将其网络适配器删除后重新添加,并将其添加至SecureCRT中,在其中操作(所有操作都需要管理员权限,请首先使用su命令获取)
- 7.选择一个虚拟机作为主机,更改名字为master,其他两个分别更改名字为slave1,slave2,并更改network中的hostname为对应名字,执行hostnam+对应名字
- 8.为了保证之后网络连接问题,关闭系统防火墙,/etc/init.d/iptables stop并执行 setenforce 0,每台机器都要执行
- 9.建立机器之间的互信关系,可以不用命令就可操作其系统.执行ssh-keygen,生成公钥(id_rsa.pub)与私钥文件,执行cd ~/.ssh,进入文件夹内,执行cat id_rsa.pub > authorized_keys,将公钥文件复制到authorized_keys中,每台机器执行一遍
- 10.将每台机器中的authorized_keys保存至另两台中的authorized_keys中
- 11.在master中使用ssh slave1验证是否需要密码链接slave1机器
- 12.在master中记入Hadoop文件夹中的bin文件夹,并执行./hadoop namenode -formate命令格式化,使用./start-all.sh启动集群,使用jps查看进程是否启动如图
master
image.png
slave1
image.png
slave2
image.png
