240 发简信
IP属地:北京
  • 120
    Zookeeper进程挂掉原因排查

    6月13号,凌晨 00:18分Zookeeper进程挂掉,查看zookeeper进程在挂掉时输出的JVM相关的错误文件hs_err_pid5829.log,可以看到zooke...

  • 120
    RM挂掉和资源打不满的排查

    RM挂掉和资源打不满的排查 一.RM挂掉的原因的分析及其解决方案 3月1号,凌晨 04:17分RsourceManager进程挂掉,YARN发生了主从切换,查看Rsource...

  • HDFS滚动升级

    1.说明 HDFS滚动升级允许独立的升级单个HDFS守护进程。比如说:datanodes可以独立于namenodes单独升级,一个namenode可以独立于其它的nameno...

  • Hive 2.3 decimal精度损失问题

    1.准备测试数据 使用如下建表语句,并插入测试数据: CREATETABLEIFNOTEXISTS test_decimal( md5 string, id int, ...

  • 120
    Timelineserver进程挂掉原因排查

    6月13号,凌晨 00:18分Zookeeper进程挂掉,查看zookeeper进程在挂掉时输出的JVM相关的错误文件hs_err_pid5829.log,可以看到zoo...

  • Active NameNode挂掉处理

    凌晨时分,Active NameNode突然挂掉,关键日志如下: 2019-06-07 01:32:50,055 INFO org.apache.hadoop.hdfs.qj...

  • 120
    HDFS纠删码设计

    1.问题陈述 当前HDFS每个块有3个副本是出于以下几个方面的考虑: 1)预防DataNode的故障 2)对MapReduce本地性任务提供更好的支持 3)通过在多个副本间选...

  • HDFS纠删码

    1.目的 副本是昂贵的--在HDFS中默认的3副本机制有200%的存储空间和其它的资源(比如:网络带宽)开销。然而,相对于低 I/O 活动的暖数据集和冷数据集,在正常的操作期...

  • 升级到Hadoop3.2.0的官方说明文档

    HDFS滚动升级 1.说明 HDFS滚动升级允许独立的升级单个HDFS守护进程。比如说:datanodes可以独立于namenodes单独升级,一个namenode可以独立于...

  • Hadoop 2.7.3之后到最新的Hadoop3.2.0的主要新特性

    Apache Hadoop 2.8.2 Hadoop2.8.2在之前的小版本(hadoop-2.7.3)的release之上构建的。 下面是对主要的特性和改进的概述: Com...

  • 120
    Yarn ResourceManager内存泄漏

    问题描述: 探索环境中的yarn的ResourceManager的内存随着使用时间不断的变大,最终导致用户无法访问yarn的资源管理页面,并且整个集群的调度变得异常缓慢,最...

  • hadoop作业监控dr-elephant启发式算法详解

    Metrics测量指标 1. Used Resources Job使用资源的数量,单位是:GB Hours 计算方式 我们将任务的资源使用定义为:所有mapper任务和所有r...

  • 120
    Hadoop 垃圾回收机制原理及其源码分析

    一、两个主要的配置参数: fs.trash.interval 默认值为:0(代表删除的数据不进入垃圾桶,直接删除) 单位:分钟 描述:垃圾数据保存的时间 fs.trash.c...