240 发简信
IP属地:福建
  • 查了一下spark2.1的代码,spark.shuffle.consolidateFiles这个配置已经不存在了

    Spark Shuffle的技术演进

    Spark Shuffle的两阶段 对于Spark来讲,一些Transformation或Action算子会让RDD产生宽依赖,即parent RDD中的每个Partitio...

  • 120
    AdaBoosting推导过程

    一、AdaBoosting算法 Adaboosting中的A是adaptive的意思,所以AdaBoosting表示自适应增强算法。Adaboosting算法可以将弱分类器通...

  • 120
    rtmp协议之handshake

    rtmp协议的handshake简单的说是客户端发送c0,c1,c2,服务器发送s0,s1,s2数据包,就完成了握手。rtmp_specification 1.0规定: 1....

  • 120
    rtmp协议之handshake

    rtmp协议的handshake简单的说是客户端发送c0,c1,c2,服务器发送s0,s1,s2数据包,就完成了握手。rtmp_specification 1.0规定: 1....