Hadoop三:Hadoop Java API初探(完结)

前面介绍了Hadoop的原理、安装、运行和客户端命令,这一节我会演示hadoop的java api去实现hadoop的命令,由于存在跨平台操作问题,这里我会介绍我的心路历程。

1. win eclipes开发准备

1.1 准备好jar包

解压hadoop-2.9.0.tar.gz, 通过前面的连载可以知道,hadoop的所有jar包放在share/hadoop目录下,本节演示的是hadoop中hdfs的api实现hdfs shell命令,有用的jar包:

首先是share/hadoop/common目录下的hadoop-common-2.9.0.jar和share/hadoop/common/lib下的所有common jar包的依赖jar包

其次是share/hadoop/hdfs下的hadoop-hdfs-2.9.0.jar和share/hadoop/hdfs/lib下的所有hdfs jar包的依赖jar包


1.2 新建hadoop project并添加相关库文件

新建hadoop工程

hadoop所有的组件依赖common包,先添加common包

添加common jar包

添加common包的所有依赖jar包

添加common jar的依赖jar包

添加hdfs jar包

添加hadoop-hdfs jar包

添加hdfs依赖的jar包

添加hdfs jar依赖的jar包

完成jar包的添加,并提交生成java库,这里大致浏览一下依赖了那些包,其中有zookeeper,这意味着再调用zookeeper api的时候不用再单独去导zk的包了。还有junit包是用于测试的,也不用再导了

提交后点finish完成hadoop hdfs api库的建立


2. 上传文件到linux hadoop hdfs中

2.1 尝试写一段代码上传windows代码到linux hadoop hdfs

第一个例子

运行后报错

部分报错信息

可以看出环境变量HADOOP_HOME和环境变量Path中的hadoop bin并未设置,在windowns环境变量中添加HADOOP_HOME,在Path中添加hadoop/bin的路径后,重新运行testUpload依然报错:java.lang.RuntimeException: java.io.FileNotFoundException: Could not locate Hadoop executable: D:\vmshare\hadoop-2.9.0\bin\winutils.exe

只是这次是发现没有winutils.exe

原因是:bin和lib下需要一些当前windows版本下用VC++编译出来的winutil.exe工具和windows库文件,这样就太麻烦了。


由于我们开的大数据环境一般是基于linux的数据,程序也运行在linux中,所以把java运行环境更改的linux中去,这样需要在eclipse中把源程序export成jar文件,再放到linux jre中运行即可。


2.2 上传linux中的文件到linux hadoop hdfs

2.2.1 开发环境

目前市面上的教程都是在windows下用eclipse+maven搞开发,虽然java是一个平台无关的语言,但是从1中我还是发现了2个问题:

一是运行时需要winutil.exe需要自己在windows编译

二是windows和linux的路径表述是不同的

为了一次性永久解决这样的跨平台问题,我使用了带桌面的centos7中安装eclipse

使用中你会发现没有hadoop小模块的api程序都需要导不同的jar包,且又会有很多依赖,同一个项目下的package可能会导同样的包,这样就需要使用maven包管理工具。

因此请参考我的简文://www.greatytc.com/p/662a8291e0e3     在centos7中搭建eclipse+maven3.5开发环境


2.2.2 java代码

测试代码


2.2.3 maven的pom.xml

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,122评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,070评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,491评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,636评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,676评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,541评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,292评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,211评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,655评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,846评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,965评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,684评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,295评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,894评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,012评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,126评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,914评论 2 355

推荐阅读更多精彩内容