Docker中编译Hadoop

1.安装Docker

参考链接:https://docs.docker.com/docker-for-mac/install/

2.创建/运行docker

2.1拉取指定版本的镜像:

docker pull centos:6.8

2.2查看本地的镜像:

  docker images
  REPOSITORY          TAG                 IMAGE ID            CREATED            SIZE
  centos              6.8                 e54faac158ff        3 days ago          195MB

2.3创建新的容器

docker create --name hadoopbase centos:6.8 (也可以使用docker run 命令)

2.4查看现有的容器:docker ps -a

CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS            NAMES
05501c020235        centos:6.8          "/bin/bash"         15 hours ago        Up 4 hours                           hadoopbase

2.5启动容器:

   docker start hadoopbase

2.6进入容器:

  docker exec -it hadoopbase  bash

2.7进入docker之后,下载相关的软件(由于docker镜像基本上都是最小化的,需要自己安装需要的软件,例如 yum install wget):

软件 版本 下载路径
jdk 1.8_181 http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz?AuthParam=1539399760_7c4fbd18cf9c338bfd7394a95b08ca56
maven 3.5.4 https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
protobuf 2.5.0 https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
snappy 1.1.1 http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz
findbugs 3.0.1 http://prdownloads.sourceforge.net/findbugs/findbugs-3.0.1.tar.gz?download
hadoop 2.7.3 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz

2.8安装jdk、maven.

 a.解压文件:
    tar -zxvf jdk-8u181-linux-x64.tar.gz / tar -zxvf apache-maven-3.5.4-bin.tar.gz
 b.配置环境变量 
    vi /etc/profile
    export JAVA_HOME=/usr/local/jdk1.8.0_181
    export MAVEN_HOME=/usr/local/apache-maven-3.5.4
    export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
c.生效文件 
    source /etc/profile
d.验证
    mvn -v / java -version

2.9安装 protobuf/snappy

a.解压文件
     tar -zxvf  protobuf-2.5.0.tar.gz / tar -zxvf snappy-1.1.1.tar.gz
b.编译
     ./configure
c.安装
     make && make install

2.10安装其他包

yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*

2.11编译Hadoop

a.解压Hadoop文件
tar -zxvf hadoop-2.7.3-src.tar.gz
b.运行mvn命令:
mvn clean package -Pdist,native -DskipTests -Dtar或mvn package -Pdist,native -DskipTests -Dtar
c.在命令运行完之后,可以在hadoop-dist/target 中看到hadoop-2.7.3.tar.gz 文件,即证明编译成功

2.12编译错误参考文件:

https://github.com/apache/hadoop/blob/trunk/BUILDING.txt
http://blog.sina.com.cn/s/blog_605f5b4f0101e8o2.html
https://www.cnblogs.com/shenh062326/p/3562491.html
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352

推荐阅读更多精彩内容