Hadoop基础

一、大数据

  • 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
  • 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

1、大数据的结构

  • 大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。
结构化数据：
  • 结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。
  • 结构化数据，简单来说就是数据库，如MySQL、Oracle、SQL Server等。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。
半结构化数据：
  • 半结构化数据可以通过灵活的键值调整获取相应信息，且数据的格式不固定，如json，同一键值下存储的信息可能是数值型的，可能是文本型的，也可能是字典或者列表。
  • 半结构化数据，属于同一类实体可以有不同的属性，即使他们被组合在一起，这些属性的顺序并不重要。常见的半结构数据有XML和JSON。
  • 它是一种适于数据库集成的数据模型，也就是说，适于描述包含在两个或多个数据库（这些数据库含有不同模式的相似数据）中的数据。
非结构化数据：
  • 它没有元数据，非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。
  • 非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术，比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。

2、大数据的获取

第一步：爬行
  • 搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。
第二步：抓取存储
  • 搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。
第三步：分析处理
  • 搜索引擎将蜘蛛抓取回来的页面，爬取了海量的非结构化信息，由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

3、发展历史

  • 2003年：谷歌公司发布一篇论文名叫The Google File System，论述了如何使用商用服务器分布式存储海量数据，用来大规模分布式程序密集式运行，可以扩展到上万个节点，适用流式数据处理。
  • 2004年：谷歌公司发布了另一篇论文名叫MapReduce: Simplified Data Processing On Large Cluster，系统的阐述了MapReduce编程模型和处理机制，是一个PB级的并行处理框架。
  • 2006年：谷歌公司发布了另一篇论文名叫BigTable：A Distributed Storage System for Structure Data，仅仅支持键值对的格式存储

二、Hadoop

1、Hadoop定义

  • Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。
  • 我们可以理解为HDFS + MapReduce = Hadoop，Hadoop使用的存储数据库是HBase。
  • MapReduce是批处理系统，缺陷是由于处理机制导致大量数据处理会变慢

2、函数式编程：

  • 类似于Lisp, ML函数式编程语言；它的特性就是高阶函数；把函数作为参数传入，这样的函数称为高阶函数，函数式编程就是指这种高度抽象的编程范式。
map:
  • map(f())的作用是把一个任务映射成多个
    map：接受一个函数为参数，并将其应用于列表中的所有元素；从而生成一个结果列表；
    例如："1", "2", "3", "4"
fold:

fold(g(), init)接受两个参数：第一个是函数，第二个是初始值，作用是把多个任务折叠


根据map的结果列表，把列表中数据处理折叠成一个唯一最终结果

3、mapreduce：

  • mapper是一个运行实例。举例来说，统计一本书每个单词出现的次数：mapper: 每100页一个单位，5 mappers同时运行用于拆分成为单词；10000000，生成一个结果列表；reducer:负责把同一个单词发送到同一个reducer，这个过程叫做shuffle and sort。
  • mapper:处理的结果是键值对，键：值，例如：”this 1, is 1, this 1, how 1”同一个键只能发往同一个reducer

  • reducer: 就是把这些键值合成一个离目标最近的结果；例如“this 500 is 20”


    mapreduce的作业提交
mapreduce逻辑结构

partitioner分区器

combiner合并器

4、Hadoop：存储和处理平台

hdfs：集群，NN名称节点，SNN辅助名称节点，DN数据节点
mapreduce：集群是一个有中心节点工作方式的集群，JobTracker集群资源和作业管理，TaskTracker运行作业任务
任务分别为：map和reduce

5、编程模型与数据处理引擎MRv1和MRv2

  • MRv1主要由编程模型（由新旧API组成）、数据处理引擎（由MapTask和ReduceTask组成）和运行时环境（由一个JobTracker和若干个TaskTracker组成）三部分组成，为了保证编程模型的向后兼容性，MRv2重用了MRv1中的编程模型和数据处理引擎，但运行时环境被完全重写，

  • 引入YARN作为通用资源调度平台后，Hadoop得以支持多种计算框架，如MapReduce、Spark、Storm等。MRv1是Hadoop1中的MapReduce，MRv2是Hadoop2中的MapReduce。下面是MRv1和MRv2之间的一些基本变化：

    • MRv2中，重用了MRv1中的编程模型和数据处理引擎。但是运行时环境被重构了。jobtracker被拆分成了通用的资源调度平台YARN和负责各个计算框架的任务调度模型AM。
    • MRv1中任务是运行在Map slot和Reduce slot中的，计算节点上的Map slot资源和Reduce slot资源不能重用。而MRv2中任务是运行在container中的，map任务结束后，相应container结束，空闲出来的资源可以让reduce使用。
Hadoop与Hadoop2.0区别
  • 在Hadoop2.0以后mapreduce被切割开，底层的通用框架独立了出来叫做YARN，只实现集群资源管理，而对应的任务则使用，RM集群资源管理器, NM节点资源管理器, AM应用程序主节点，运行在container中。
一个任务就会分成两个框架
* 框架一
  • RM: Resource Manager负责全局资源管理，资源的状态由NM报告，如果RM要启动一个container，会向NM发指令
  • NM: Node Manager 节点管理
* 框架二
  • AM: Application Master应用管理，当container启动后 由AM管理
  • container：运行mr任务；

6、hadoop的三个著名的插件：hive，pig，Hbase

7、Hadoop Distribution分发版：有两个著名的商业分发版

1、Cloudera: CDH
2、Hortonworks: HDP
另外还有Intel：IDH、MapR

三、基于伪分布式模型运行的hadoop部署

  • 单机模型：一般测试使用，不建议使用；
  • 伪分布式模型：运行于单机；
  • 分布式模型：集群模型，真集群

Hadoop，基于Java语言研发；
jdk：1.6, 1.7, 1.8
hadoop-2.6.2版本需要jdk 1.6+
hadoop-2.7版本需要 jdk 1.7+

注意：因为实验主机使用java要求内存至少2G

1、安装jdk

[root@node-61 ~]# yum install epel-release -y

#安装jdk
[root@node-61 ~]# yum install java-1.8.0-openjdk-devel -y

#设置环境变量
[root@node-61 ~]# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

[root@node-61 ~]# . /etc/profile.d/java.sh

#验证版本
[root@node-61 ~]# java -version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

2、下载Hadoop-2.7.7

下载地址:https://hadoop.apache.org/releases.html

[root@node-61 ~]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
[root@node-61 ~]# mkdir /bdapps
[root@node-61 ~]# tar xf hadoop-2.7.7.tar.gz -C /bdapps/
[root@node-61 ~]# ln -sv /bdapps/hadoop-2.7.7/ /bdapps/hadoop
[root@node-61 ~]# vim /etc/profile.d/hadoop.sh

export HADOOP_PREFIX=/bdapps/hadoop
export PATH=$PATH:${HADOOP_PREFIX}/bin:${HADOOP_PREFIX}/sbin
export HADOOP_YARN_HOME=${HADOOP_PRFIX}
export HADOOP_MAPPERD_HOME=${HADOOP_PRFIX}
export HADOOP_COMMON_HOME=${HADOOP_PRFIX}
export HADOOP_HDFS_HOME=${HADOOP_PRFIX}

3、创建一个组和用户，工作目录

[root@node-61 ~]# groupadd hadoop
[root@node-61 ~]# useradd -g hadoop yarn
[root@node-61 ~]# useradd -g hadoop hdfs
[root@node-61 ~]# useradd -g hadoop mapred

4、创建数据目录和日志目录

[root@node-61 ~]# mkdir -pv /data/hadoop/hdfs/{nn,snn,dn}
[root@node-61 ~]# chown -R hdfs:hadoop /data/hadoop/hdfs #修改属主属组
[root@node-61 ~]# ll /data/hadoop/hdfs/
total 0
drwxr-xr-x 2 hdfs hadoop 6 Mar 11 23:33 dn
drwxr-xr-x 2 hdfs hadoop 6 Mar 11 23:33 nn
drwxr-xr-x 2 hdfs hadoop 6 Mar 11 23:33 snn

[root@node-61 ~]# mkdir /bdapps/hadoop/logs
[root@node-61 ~]# chmod g+w /bdapps/hadoop/logs
[root@node-61 ~]# chown -R yarn:hadoop /bdapps/hadoop/*

5、配置Hadoop

  • Hadoop配置文件是xml格式，配置信息保存在<configuration>中，在<configuration>中每一个配置都以 <property>开头 和以</property>结尾，每个<property>内部至少有两个属性，一个是参数名称<name>，另一个是对应参数的值<value>，还有 <final>。

core-site.xml 配置文件

  • core-site.xml文件包含了NameNode主机地址及监听RPC端口信息，对于伪分布式模型来说，其主机地址为localhost。NameNode默认使用的RPC端口为8020。
#core-site.xml 
[root@node-61 ~]# vim /bdapps/hadoop/etc/hadoop/core-site.xml 

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
.............
<configuration>
      <property>
                <name>fs.defaultFS</name>                #函数名称
                <value>hdfs://localhost:8020</value>    #函数对应的值，定义端口
                <final>true</final>
      </property>
</configuration>

hdfs-site.xml配置文件

  • hdfs-site.xml主要用于配置HDFS相关属性，例如复制因子（即数据块的副本数）、NN和DN用于存储数据的目录等。数据块的副本对于伪分布式的Hadoop应该为1，而NN和DN用于存储的数据的目录为前面步骤中专门为其创建的目录。另外前面的步骤中也为SNN创建了相关的目录,这里也一并配置其为启用状态。
#hdfs-site.xml
[root@node-61 ~]#  vim /bdapps/hadoop/etc/hadoop/hdfs-site.xml
        <configuration>
            <property>
                <name>dfs.replication</name>  #数据块的副本数
                <value>1</value>    #定义数值为1
            </property>
            <property>
                <name>dfs.namenode.name.dir</name> #名称节点路径
                <value>file:///data/hadoop/hdfs/nn</value> #定义名称节点存放路径
            </property>
            <property>
                <name>dfs.datanode.data.dir</name> #数据节点数据目录
                <value>file:///data/hadoop/hdfs/dn</value> #定义数据节点数据目录
            </property>
            <property>
                <name>fs.checkpoint.dir</name> #检查点目录
                <value>file:///data/hadoop/hdfs/snn</value> #定义检查点目录
            </property>
            <property>
                <name>fs.checkpoint.edits.dir</name>#检查点编辑目录
                <value>file:///data/hadoop/hdfs/snn</value>#定义检查点编辑目录
            </property>
        </configuration>

mapred-site.xml配置文件

  • mapred-site.xml文件用于配置集群的MapReduce framework,此处应该指定使用yarn，另外的可用值还有local和classic（经典的）。mapred-site-xml默认不存在，但有模块文件mapred-site.xml.template,只需要将其复制mapred-site.xml即可。
[root@node-61 ~]# mv  /bdapps/hadoop/etc/hadoop/mapred-site.xml.template /bdapps/hadoop/etc/hadoop/mapred-site.xml
[root@node-61 ~]# vim /bdapps/hadoop/etc/hadoop/mapred-site.xml

        <configuration>
            <property>
                <name>mapreduce.framework.name</name> #集定义群
                <value>yarn</value> #集群值为yarn
            </property>
        </configuration>

yarn-site.xml配置文件

  • yarn-site.xml用于配置YARN进程及YARN的相关属性。首先要指定ResourceManager守护进程的主机和舰艇的端口，对于伪分布式模型来讲，其主机为localhost，默认端口为8032，其次需要指定ResourceManager使用scheduler（调度器），以及NodeManager的辅助服务。
[root@node-61 ~]# vim /bdapps/hadoop/etc/hadoop/yarn-site.xml 
        <configuration>
            <property>
                <name>yarn.resourcemanager.address</name>
                <value>localhost:8032</value> #值为地址端口
            </property>
            <property>
                <name>yarn.resourcemanager.scheduler.address</name>#调度器地址
                <value>localhost:8030</value> #值地址端口
            </property>
            <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>#资源追踪器
                <value>localhost:8031</value>#值为地址端口
            </property>
            <property>
                <name>yarn.resourcemanager.admin.address</name>#管理地址
                <value>localhost:8033</value>#值为地址端口
            </property>
            <property>
                <name>yarn.resourcemanager.webapp.address</name> #web管理地址
                <value>localhost:8088</value> #值为地址端口
            </property>
            <property>
                <name>yarn.nodemanager.aux-services</name> #节点管理的辅助服务
                <value>mapreduce_shuffle</value> #值为shuffle类
            </property>
            <property>
                <name>yarn.nodemanager.auxservices.mapreduce_shuffle.class</name>#使用哪一种shuffle类
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>#值为使用apache中的ShuffleHandler类
            </property>
            <property>
                <name>yarn.resourcemanager.scheduler.class</name> #定义使用哪个调度器类
                <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> #值为使用apache中的CapacityScheduler类
            </property>
        </configuration>

6、格式化HDFS

  • 在HDFS的NN启动之前需要先初始化其用于存储数据的目录。如果hdfs-site.xml中dfs.namenode.name.dir属性指定的目录不存在，格式化命令会自动创建；如果事先存在，请确保其权限设置正确，此时格式操作会清除其内部的所有数据并重新建立一个新的文件系统。使用hdfs用户格式化操作。
[root@node-61 ~]# su - hdfs
[hdfs@node-61 ~]$ hdfs namenode -format

#验证格式化是否成功
[hdfs@node-61 ~]$ ls /data/hadoop/hdfs/nn/current/
fsimage_0000000000000000000  fsimage_0000000000000000000.md5  seen_txid  VERSION

7、启动Hadoop的hdfs集群

#启动名称节点namenode
[hdfs@node-61 ~]$ hadoop-daemon.sh start namenode
starting namenode, logging to /bdapps/hadoop/logs/hadoop-hdfs-namenode-node-61.out
[hdfs@node-61 ~]$ jps
7619 Jps
7550 NameNode

#启动辅助名称节点secondarynamenode
[hdfs@node-61 ~]$ hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /bdapps/hadoop/logs/hadoop-hdfs-secondarynamenode-node-61.out
[hdfs@node-61 ~]$ jps
7685 Jps
7644 SecondaryNameNode
7550 NameNode

#启动数据节点datanode
[hdfs@node-61 ~]$ hadoop-daemon.sh start datanode
starting datanode, logging to /bdapps/hadoop/logs/hadoop-hdfs-datanode-node-61.out
[hdfs@node-61 ~]$ jps
7713 DataNode
7644 SecondaryNameNode
7789 Jps
7550 NameNode

8、启动Hadoop的yarn集群

#使用yarn用户启动
[root@node-61 ~]# su - yarn
[yarn@node-61 ~]$ yarn-daemon.sh start resourcemanager  #启动rm
starting resourcemanager, logging to /bdapps/hadoop/logs/yarn-yarn-resourcemanager-node-61.out
[yarn@node-61 ~]$ yarn-daemon.sh start nodemanager  #启动nm
starting nodemanager, logging to /bdapps/hadoop/logs/yarn-yarn-nodemanager-node-61.out
[yarn@node-61 ~]$ jps
18848 Jps
18508 ResourceManager
18748 NodeManager

四、hadoop测试使用

1、hdfs的User Commands用户命令

  • hdfs数据块分片存储在节点指定目录下，这里是/data/hadoop/hdfs/dn/current/BP-*****,并有它的固定名称格式和目录结构，如果数据是文本格式，可以使用cat命令查看内容。
    dfs 客户端工具
    fetchdt
    fsck
    version

mkdir命令创建目录

[hdfs@node-61 ~]$ hdfs dfs -mkdir /test
[hdfs@node-61 ~]$ hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - hdfs supergroup          0 2019-03-13 21:52 /test

put命令上传到hdfs指定目录

[hdfs@node-61 ~]$ hdfs dfs -put  /etc/fstab /test/fstab
[hdfs@node-61 ~]$ hdfs dfs -ls /test
Found 1 items
-rw-r--r--   1 hdfs supergroup        465 2019-03-13 21:56 /test/fstab

ls -R命令递归查询指定目录

[hdfs@node-61 ~]$ hdfs dfs -ls -R /
drwxr-xr-x   - hdfs supergroup          0 2019-03-13 21:56 /test
-rw-r--r--   1 hdfs supergroup        465 2019-03-13 21:56 /test/fstab

cat命令显示文件内容

[hdfs@node-61 ~]$ hdfs dfs -cat /test/fstab

#
# /etc/fstab
# Created by anaconda on Tue Sep 25 19:41:12 2018
...........

2、Administration Commands管理命令

    balancer
    datanode
    dfsadmin
    mover
    namenode
    secondarynamenode

3、在hadoop运行测试程序

  • Hadoop-YARN自带了许多示例程序，他们位于hadoop安装路径下share/hadoop/mapreduce/中，运行要使用hdfs用户。
[root@node-61 ~]# su - hdfs
Last login: Wed Mar 13 21:52:24 CST 2019 on pts/0
[hdfs@node-61 ~]$ yarn jar /bdapps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar  wordcount  /test/fstab  /test/fstab.out  
#使用示例程序中的wordcount单词统计方法，统计fastab文件夹并把结果保存到fatab.out下

#查询输出文档统计结果
[hdfs@node-61 ~]$ hdfs dfs -cat /test/fstab.out/part-r-00000
#   7
'/dev/disk' 1
/   1
/boot   1
/dev/mapper/centos-root 1
/dev/mapper/centos-swap 1
/etc/fstab  1
0   6
19:41:12    1
2018    1
25  1
Accessible  1
Created 1
See 1
Sep 1
Tue 1
UUID=2644b409-66f3-48dd-922f-acb280404e1d   1
anaconda    1
and/or  1
are 1
blkid(8)    1
by  2
defaults    3
filesystems,    1
findfs(8),  1
for 1
fstab(5),   1
info    1
maintained  1
man 1
more    1
mount(8)    1
on  1
pages   1
reference,  1
swap    2
under   1
xfs 2

4、web界面

  • HDFS和YARN ResourceManager各自提供个一个web接口，通过这些接口可以检查HDFS集群和YARN集群的相关信息。他们的访问接口分别为HDFS-NameNode：http://<NameNodeHost>:50070
    YARN_ResourceManager:http://<ResourceManager>:8088


    HDFS的web信息界面1

    HDFS的web信息界面2

参考链接：https://blog.csdn.net/wzz87/article/details/79372162
https://blog.csdn.net/jiewuyou/article/details/37742669

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 215,384评论 6赞 497
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,845评论 3赞 391
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 161,148评论 0赞 351
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,640评论 1赞 290
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,731评论 6赞 388
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,712评论 1赞 294
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,703评论 3赞 415
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,473评论 0赞 270
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,915评论 1赞 307
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2赞 331
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1赞 345
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,063评论 5赞 340
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,706评论 3赞 324
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1赞 268
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2赞 368
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2赞 352

推荐阅读更多精彩内容

  • 大数据学习笔记1000条
    Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,263评论 0赞 34
  • Hadoop分布式集群部署
    一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf，添加如下配置，然后执行s...
    张伟科阅读 3,748评论 0赞 14
  • Hadoop 基础知识
    简介 大数据是一个概念也是一门技术其技术指在以hadoop为代表的平台框架上进行数据分析的技术。包括实时数据处理、...
    edwin1993阅读 795评论 0赞 2
  • Day37-20181020【练字打卡】
    2018.10.20――星期六――晴 练字第三十七天。昨天一天又没练，这个月偷懒五天了。今天看了一天小说，看了个电...
    梦青川平阅读 216评论 0赞 0
  • 你的灵魂要爱你的身体
    常常听别人说，人要懂的爱自己，尤其是女人要懂得爱自己。以前我觉得很迷茫，自己怎么爱自己呢？难道是多给自己买衣服，多...
    smile红茶_b5b1阅读 434评论 2赞 1