240 发简信
IP属地:海南
  • 240
    jvm

    笔者最近学习jvm 的内存模型,这里根据下面几个模块来做个总结: 1.jvm的内存模型 2.jvm gc原理 jvm的内存模型 jvm 的内存模型实现很复杂,但是工作中经常接...

  • hadoop 小文件处理方案

    hadoop hdfs 被设计用作海量数据存储,适合存储大文件,文件在hdfs中是以block的形式存储的,在hadoop 1.x中,hdfs block的默认大小为64m,...

  • 240
    spark 相关总结

    spark 部署有几种模式spark 可分为单机模式和集群模式集群模式又可分为standalone独立集群模式,yarn 集群模式和mesos集群模式图为spark 集群架构...

  • 240
    mr

    mr 的设计思想是分而治之,它分为两个阶段,分别为map阶段和reduce阶段,map阶段体现了分的思想,将一个复杂的任务分解成若干个简单的任务去执行,将大数据量划分为一个个...

  • 240
    spark on hbase 读写

    本文主要讲述了spark对hbase进行独写的两种方式,这两种方式分别为:1.利用spark提供的 newAPIHadoopRDD api 对hbase进行读写2.Spark...