240 发简信
IP属地:江西
  • 关于hbase、spark、hive使用时的优化问题

    一、Hbase的优化 1、JVM优化: 1)如:HBase RegionServer 的 Java 配置选项 -XX:+UseParNewGC ...

  • Resize,w 360,h 240
    大数据面试必问-快速理解Hive的数据存储格式及mapreduce底层原理

    在大数据工程师面试时,下面这个题可谓是面试官的最爱,他考察了对于mapreduce框架以及hive的原理的理解,阅读完这篇文章,在面试这一类的问...

    0.9 1541 0 11
  • sqoop import使用

    一、sqoop作用? sqoop是一个数据交换工具,最常用的两个工具是导入导出。 导入导出的参照物是hadoop,向hadoop导数据就是导入。...

  • Resize,w 360,h 240
    azkaban(最适合入门)

    这里先默认大家都已经安装并配置完成了azkaban1、启动azkaban 启动azkaban server。进入executor,执行: bin...

  • Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

    直奔主题: 其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的. 我是在idea上写的scala程序 用的是2.11....

  • Resize,w 360,h 240
    史上最有趣的post、get方式详解

    GET和POST两种基本请求方法的区别 GET和POST是HTTP请求的两种基本方法,要说它们的区别,接触过WEB开发的人都能说出一二。 最直观...

  • Spark调优之JVM调优

    今天给大家分享Spark调优相关的JVM调优,这个调优方法在开发中也很常见,他主要分为两种,一种是降低cache操作的内存占比,一种是调节exe...

  • HDFS MapReduce

    hdfs的读写流程 hdfs写数据 1) 客户端通过DistributedFileSystem模块向namenode请求上传文件,namenod...

  • Redis数据"丢失"讨论及规避和解决的几点总结

    Redis大部分应用场景是纯缓存服务,请求后端有Primary Storage的组件,如MySQL,HBase;请求Redis的键未命中,会从p...