原本订的最少两天一篇就要坚持,又到半夜12点了,才想起来要写一点东西,在这个时候能体会到阿里为什么要做一个技术公司了,回报社会,每个人都有这么一个阶段。废话少说,开始开车。
今天的东西很简单就是测试之前搭建的hdfs和mr
1,首先保证start-dfs.sh和start-yarn.sh这两个脚本执行成功,这个是前提
2,先从直观上认识一下hdfs,hdfs提供了一个网站可以看http://my01:50070
点击上图按钮之后,
这里就可以看hdfs上面的东西了,好的,我们上传一个文件到hdfs上去
我将hadoop的安装包上传上去,好,到页面上看一下
刚刚上传的就成功了,这里有几个名词需要说明一下,size这个文件的大小,replication备份数量,之前配置的是1,block size这个块大小,这个版本默认128M,2.0之前默认64M,这样可以看出了一个hadoop-2.4.2.tar.gz被分成了两个块,这里多一句,谁分的呢?先告诉答案:客户端自己分的,不是hdfs分的,为什么,之后会说到
2,测试mr
hadoop安装包中有例子,这个是做程序的一个基本的意识
就在这个目录下面
运行一个pi,就是3.1415926这个东西
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 6
解释一下上面那就命令 5--5个map
6---取样数量 取样越多执行的越接近
执行结果是3.6明显差距很大,把取样数改大看看
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 10
明显接近了,好了,今天就到这里了,今天早早睡了
望指正,不吝赐教