240 发简信
IP属地:江苏
  • 随笔-2022-05-10

    突然想到一些东西,随便记记吧。之前听到一首歌,翻来覆去的唱下面几句。"春有百花秋有月,夏有凉风冬有雪。若无闲事挂心头,便是人间好时节。"这原是佛...

  • Scala - return in anonymous function

    spark(spark-2.10)算子(如map、filter等)的源码实现,都会调用ClosureCleaner.clean对传入的funct...

  • 记一次序列化导致的MR统计问题

    类似简单的wordcount,MapReduce输出的统计结果却不符预期。部分key丢失了,未丢失的key,其value值也不对。经查,是因为代...

  • Resize,w 360,h 240
    scala语法在spark withScope上的应用

    withSpout在spark中是用来做DAG可视化的,它在代码里的用法如下(以map为例,spark 1.5.0版本) 因为对scala语法比...

    0.5 5901 2 8 1
  • Resize,w 360,h 240
    avro源码阅读-读avro文件

    在实际工作中,会将avro文件读到一个类中。下面就看看代码是如何实现的(这里看的是avro-1.7.7版本)。 读取整个avro文件的类是Dat...

  • Resize,w 360,h 240
    avro源码阅读-写avro文件

    avro文件结构 avro文件格式大致如下(引用自avro官网Specification的Object Container Files一节) A...

  • Java AbstractQueuedSynchronizer源码阅读5-从await()和awaitUninterruptibly()看interrupt

    这篇文章说是对AbstractQueuedSynchronizer源码的阅读,倒不如说是对java interrupt的理解。 在看await(...

  • Resize,w 360,h 240
    Java AbstractQueuedSynchronizer源码阅读4-ConditionObject

    AbstractQueuedSynchronizer为锁机制维护了一个队列,需要获取锁的线程们排在队列中,只有排在队首的线程才有资格获取锁。Co...

  • Java--Lock&Condition的理解

    本文为后续介绍AbstractQueuedSynchronizer.ConditionObject做一下铺垫。 Lock&Condition L...

    0.2 4736 0 11