240 发简信
IP属地:甘肃
  • 寻找峰值

    题目 峰值元素是指其值大于左右相邻值的元素。给你一个输入数组 nums,找到峰值元素并返回其索引。数组可能包含多个峰值,在这种情况下,返回 任何一>个峰值 所在位置即可。你可...

  • 反转单链表

    题目 反转一个单链表。示例:输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL进阶:你可以迭代或递归地反转链表。你能否用两种方法解决...

  • kafka详解

    一、kafka的基础知识 1、基本角色 1、Producer:生产者,往broker写消息(其实是往某个topic的leader partition写消息)2、Consume...

  • 120
    kafka-kafka+sparkstreaming不丢数据的方案

    一、从kafka读数据保证不丢失的方案  0.8版本 lines对象里面有偏移量,但是凡事代码对这个对象做了任何算子的操作(比如map),偏移量就丢失了.所以调用了creat...

  • 源码--spark2.x的SortShuffleWriter

    这个类主要看write方法 1、创建一个排序器,根据是否需要map端聚合传递不同的参数 如果不需要map端聚合,那么aggregator函数和ordering都是None 需...

  • 1、滑动窗口

    题目 给定一个含有 n 个正整数的数组和一个正整数 target .找出该数组中满足其和 ≥ target 的长度最小的 连续子数组 [numsl, numsl+1, ......

  • 120
    源码--spark2.X的shuffle

    一、源码流程 1、首先sparkContext被实例化的时候,会创建sparkEnv,在sparkEnv的create方法中对shuffleManager进行了初始化 2、创...