北风第一支

前面讲到了RDD的分区、RDD的创建，这节将讲解RDD的转换，RDD的转换就是从父RDD生成一个新的RDD，新的RDD分区可能和父RDD一致也可能不再一致。常用的转换函数: ...

北风第一支

RDD的创建大多数情况下是从hdfs文本来的，当然也可以从其他组件接入进来，如kafka、hbase等，后续介绍 创建类型： 1、文本类型没有指定分区个数的，如果是hdfs则...

北风第一支

rdd的计算都是以partiotion为单元的，这些分区的转换函数(见后面的章节)不会直接返回结果。当出现collect,count,toList,print才会真正执行。 ...

北风第一支

RDD是容错、并行的数据结构，具备分区的属性，这个分区可以是单机上分区也可以是多机上的分区，对于RDD分区的数量涉及到这个RDD进行并发计算的粒度。每一个分区都会在一个单独的...

北风第一支

Resilient Distributed Datasets [rɪ'zɪlɪənt] 准确翻译为 容错的 并行的 数据结构 而不是弹性分布式数据集合RDD提供了丰富的集合...

北风第一支

AMPAlgorithms 算法Machines 机器people 人 spark较mapreduce快100倍的原因：内存数据、调度优化、传输优化、DAG执行引擎。 一...

北风第一支

OLTP On-Line Transaction ProcessingOLAP On-Line Analytical Processing在定时任务OLAP中，我们也需要做优...

北风第一支

wait ..

北风第一支

当一个web请求到达的时候，去执行逻辑1，得到结果1；再根据结果1，执行逻辑2，得到结果2，……依次执行，最后得到结果N，也就是最终结果。 而具体到这个软件产品中，将具体要执...

北风第一支

假设现在要设计一个贩卖各类书籍的电子商务网站的购物车系统。一个最简单的情况就是把所有货品的单价乘上数量，但是实际情况肯定比这要复杂。比如，本网站可能对所有的高级会员提供每本2...

北风第一支

反射(Reflection)是Java 程序开发语言的特征之一，它允许运行中的 Java 程序获取自身的信息，并且可以操作类或对象的内部属性。 程序中对象的类型都是在编译期就...

北风第一支

桥接模式是一种结构型模式，它主要应对的是：由于实际的需要，某个类具有两个或两个以上的维度变化，如果只是用继承将无法实现这种需要，或会使得设计变得相当臃肿。 桥接模式的做法是把...

北风第一支

简单地讲，一个Native Method就是一个java调用非java代码的接口。一个Native Method是这样一个java的方法：该方法的实现由非java语言实现，比...

北风第一支

在class.forName(String)中： Reflection.getCallerClass()返回调用此方法的方法调用者的类，忽略关联的框架及其实现。JVM将跟踪这...