06. MapReduce 运行环境

System.setProperty("HADOOP_USER_NAME", "root");

MR执行环境有两种:本地测试环境,服务器环境

本地测试环境(windows):

在windows的hadoop目录bin目录有一个winutils.exe

1、在windows下配置hadoop的环境变量

2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin

3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib

4、MR调用的代码需要改变:

a、src不能有服务器的hadoop配置文件

b、在调用是使用:

Configuration config = new  Configuration();

config.set("fs.defaultFS", "hdfs://node1:8020");     //nameNode节点

config.set("yarn.resourcemanager.hostname", "node1");     //resourceManager节点

服务器环境:

首先需要在src下放置服务器上的hadoop配置文件

1、在本地直接调用,执行过程在服务器上(真正企业运行环境)

a、把MR程序打包(jar),直接放到本地

b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib

c、增加一个属性:

config.set("mapred.jar", "E:\\ROOT\\ROOT.jar");

d、本地执行main方法,servlet调用MR。

2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上

a、把MR程序打包(jar),传送到服务器上

b、通过: hadoop jar jar路径  类的全限定名

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 说明:不少读者反馈,想使用开源组件搭建Hadoop平台,然后再部署Kylin,但是遇到各种问题。这里我为读者部署一...
    大诗兄_zl阅读 2,112评论 0 2
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,784评论 0 14
  • 简介 HBase是高可靠性,高性能,面向列,可伸缩的分布式存储系统,利用HBase技术可在廉价PC Serve...
    九世的猫阅读 2,223评论 1 6
  • 上节课我们一起学习了MapReduce大的框架及原理,单看理论的话很容易懵圈,这节我们便一起学习一个MapRedu...
    文子轩阅读 1,569评论 0 2
  • 经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本http:...
    欢醉阅读 1,716评论 8 28