240 发简信
Shawn999
IP属地：广东
  • 120
    180
    Shawn999
    Hfile结构

    Hfile结构 文件主要分为四个部分：Scanned block section，Non-scanned block section，Opening-time data se...

    1839 1 0
  • 120
    180
    Shawn999
    HBase知识点

    介绍 HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache...

    1014 0 1
  • 120
    180
    Shawn999
    Hive知识点

    hive介绍 Hive通常意义上来说，是把一个SQL转化成一个分布式作业，如MapReduce，Spark或者Tez。无论Hive的底层执行框架是MapReduce、Spar...

    351 0 0
  • 120
    180
    Shawn999
    Yarn知识

    Year的资源管理模型 在实际系统中，资源本身是多维度的，包括CPU、内存、网络I/O和磁盘I/O等，因此，如果想精确控制资源分配，不能再有slot的概念，最直接的方法就是是...

    717 0 0
  • 120
    180
    Shawn999
    MapReduce 知识

    参与mapreduce作业执行涉及4个独立的实体： 客户端（client）提交MapReduce作业JobTracker1.作业调度：将一个作业（Job）分成若干个子任务分发...

    693 0 0
  • 120
    180
    Shawn999
    HDFS 2.0 的 HA 实现

    HDFS 2.0 的 HA 实现 Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 ...

    770 0 0
  • 120
    180
    Shawn999
    HDFS知识

    hdfs架构设计 HDFS主要由3个组件构成，分别是NameNode、SecondaryNameNode和DataNode，HSFS是以master/slave模式运行的，其...

    811 0 0
  • 120
    180
    Shawn999
    Storm知识点

    1.1 简单介绍 实时处理Stream流的能力，有容错性，保证性处理机制。对于输入数据，支持消息队列，像RabbitMQ, JMS, Kafka等或者传统的数据库和Hbase...

    533 0 1
  • 180
    Shawn999
    storm kafka

    1.1 KafkaSpout流程 建立zookeeper客户端，在zookeeper "borkers/topics/" + _topic + "/partitions" 路...

    369 0 1
  • 120
    180
    Shawn999
    kafka 知识

    1.1 读写方式 producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机...

    127 0 1
  • 180
    Shawn999
  • 180
    Shawn999
暂无个人介绍