MOOJ

用Keras搭建神经网络的步骤： 深度学习框架Keras——像搭积木般构建神经网络，主要分为7个部分，每个部分只需要几个keras API函数就能实现，用户即可像搭积木般一层...

MOOJ

hbase是谷歌bigdata论文的一个代码实现，hbase是开源软件，在大数据处理领域应用广泛。今天楼主先来介绍一些基本原理，后面用工程代码方式来叙述API的用法。楼主是新...

MOOJ

1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapRed...

MOOJ

Namenode在HDFS中是一个非常重要的组件，相当于hadoop集群系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式...

MOOJ

一、什么是Zookeeper Zookeeper是一个hadoop的分布式协调服务，它包含一个简单的源语集。分布式应用程序可以基于它市县同步服务，配置维护和命名服务。Zook...

MOOJ

Shuffle过程是MapReduce的核心，描述着数据从map task输出到reduce task输入的这段过程。 Hadoop的集群环境，大部分的map task和re...

MOOJ

处理过程： 1.mp程序产生RunJar进程向resource manager申请执行一个job 2.resource manager返回job相关资源提交的路径stagin...

MOOJ

在MapReduce整个过程可以概括为以下过程： 输入 --> map --> shuffle --> reduce -->输出 输入文件会被切分成多个块，每一块都有一个ma...

MOOJ

一. HDFS存储过程： 1.客户端需要存储一份文件（客户端进行切分），需要查询NN中的元数据。若文件以及存在则拒绝存储。 2.NN返回为客户端的上传申请分配对应的DN存储地...

MOOJ

HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系...

MOOJ

Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和...