winyang

使用spark自带的上下界限来分区的不均匀性导致传输慢(木桶效应): oracle结合分页查询防数据传输倾斜: 下面这种写法基本是串行的没有充分利用集群的处理能力,但是感觉要...

winyang

public/private/protected的具体区别: 在说明这四个关键字之前，先对class之间的关系做一个简单的定义，对于继承自己的class，base class...

winyang

抽象数据类型ADT是指一些数据以及对这些数据所进行的操作的集合。这些操作可以描述数据是怎么样的也可以允许程序通过这些操作去修改这些数据。 不要让ADT依赖于其存储介质，尽量让...

winyang

如果你直接解决不出来提出的这个问题，那么试着先去解决一些相关的问题。你能设想出一个更容易解决的与此有关的问题吗？一个更一般的问题？一个更特殊的问题？一个类似的问题？你能解决这...

winyang

程序组织: 系统架构首先要以概括的形式对有关系统做一个综述，如果没有综述，要想将成千上万的局部图片(或十多个单独的类)拼为一副完整的图画是相当伤脑筋的，如果你不能将它们拼接起...

winyang

开发过程中的各种不同活动: 定义问题 需求分析 规划构建 软件架构(高层设计) 详细设计 编码与调试 单元测试 集成测试 集成 系统测试 保障维护 构建活动中的基本任务: 验...

winyang

针对功能的需求: 1.是否定义了系统的全部输入，包括来源，精度，取值范围，出现频率等？ 2.是否定义了系统全部的输出，包括目的地，精度，取值范围，出现频率，格式等？ 3.是否...

winyang

core-site.xml: <configuration> <name>fs.defaultFS</name> <value>hdfs://node1:9000</valu...

winyang

spark-default.sh： spark.master spark://master:7077 spark.eventLog.enabled ...

winyang

最近也在研究这个,请问一下"spark.task.maxFailures=1, Task重试次数为1，即不重试" 那么如果这个task失败了,岂不是没有把这部分数据进行处理，或者说笔者是特地把这个参数设置为1，任务一旦失败,offset其实是没有改动的,也就是说下次还是读取这个offerset,这部分数据还是会处理？

spark-streaming-kafka之createDirectStream模式

完整工程用例 最近一直在用directstream方式消费kafka中的数据，特此总结，整个代码工程分为三个部分一. 完整工程代码如下(某些地方特意做了说明, 这个代码的部...

luomoxyz

21638 3 20 1