需要的软件
Paste_Image.png
过程
- 把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下的plugins目录下
- 重启eclipse
- eclipse左边多出来一个DFS Locations
- 解压hadoop-2.6.0
-
设置Window->Prefrences->Hadoop Map/Reduce的installation directory为你解压的hadoop目录
Paste_Image.png - 显示Map/Reduce选项卡。
选择Window->Open Perspective->Other->Map/Reduce - 创建hdfs连接。
右键单击Map/Reduce Locations选项卡（在最下方）， 选择新建 -
配置的地址及端口
Paste_Image.png -
查看是否连接成功
Paste_Image.png -
新建输入目录并上传测试文件（.txt）
Paste_Image.png - java程序(官网WordCount.java)
方法一：
- java程序打成jar包上传至hadoop服务器hadoop目录下
- 执行(输出目录必须不存在)
(WordCount如果有包名，自己带上)
bin/hadoop jar wc.jar WordCount /test0706 /test0706_out2
- 出问题的情况下强制终止任务
./bin/hadoop job -kill job_1467738443148_0007
-
运行成功截图
Paste_Image.png -
查看结果
Paste_Image.png
bin/hadoop fs -ls /test0706_out4
Paste_Image.png
方法二：
- hadoop脱离集群环境的开发
- 报错
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
分析:
配置HADOOP_HOME环境变量
win下的2.2版本---https://github.com/srccodes/hadoop-common-2.2.0-bin.git - java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
分析：
这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样
需要选择正确的版本并且在 Hadoop/bin和 C：\windows\system32 上将其替换
文件下载--2.6版本
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
方法三
- hadoop远程连接集群开发
文章参考
win7下安装hadoop 2.6.0 的eclipse插件并编写运行WordCount程序
hadoop2.6.0的eclipse插件编译和设置
hadoop开发方式--脱离集群环境的开发/远程连接集群开发
