记录:
1.安装jdk
mac 自带的有java,可以安装自己的版本,需要配置环境变量.
修改.bash_profile文件就可以.
2.ssh免密登录
2.1系统偏好设置->共享->勾选远程登录.
2.2 command+shift+g 输入~/.ssh 前往 . 进入.ssh文件夹下会多
屏幕快照 2018-05-02 15.17.25.png
然后在终端下输入
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
屏幕快照 2018-05-02 15.21.06.png
3.在mac中下载解压版本
4.配置
所需要修改的配置文件都在hadoop-3.0.0.0/etc/hadoop目录下。
4.1 hadoop-env.sh
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home
4.2core-site.xml
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/Library/hadoop-2.7.3/temp</value>
</property>
4.3hadfs-site.xml
<configuration>
<!--默认副本数3 ,修改为1-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--指明fsimage存放目录,多个目录用逗号隔开-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/name</value>
</property>
<!--定块文件存放目录，多个目录逗号隔开-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/data</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
4.4 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.5yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</configuration>
5.配置环境变量
在 vi ~/.bash_profile 中进行配置
export HADOOP_HOME=/Users/leerui/Documents/soft/hadoop-3.0.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
让配置生效:
source ~/.bash_profile
想要验证环境变量 是否配置成功的话 可以输入
echo $path
6.初始化以及启动
//进入hadoop安装目录
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//启动hdfs
sbin/start-dfs.sh
//启动yarn
sbin/start-yarn.sh
7.测试是否成功
当启动完hdfs以及yarn可以打开浏览器，输入以下地址看是否能进入对应的页面
启动完hdfs访问: http://localhost:50070
屏幕快照 2018-05-02 16.06.55.png
启动完yarn访问: http://localhost:8088
屏幕快照 2018-05-02 16.07.35.png
就启动成功了.
