Kafka的基本概念 BrokerKafka集群中包含多个服务器,其中每个服务器称为一个broker。有一点需要注意一下,添加一个新的broke...
1.1 介绍 GBDT = Gradient Boosting + Decision TreeGradient Boosting = Gradi...
监督学习基本元素 模型 参数 目标函数 = 损失函数+正则化项:优化损失函数为了拟合预测模型,而正则项负责简化模型,提高模型的泛化能力Snipa...
CAP分布式理论 2002年CAP理论正式成为分布式计算领域的公认定理 CAP指一致性(Consisitency),可用性(Avaliabili...
本文从类七个阶段更加high Level的角度去解析一下类的加载过程。Java字节码的表现形式是字节数组,而java类在jvm中的表现是java...
类的加载过程概况 类从被加载到虚拟机内存开始,直到卸载出内存,它的生命周期包含了:加载,验证,准备,解析,初始化,使用和卸载7个阶段。 其中,加...
大家都知道spark的计算是基于内存的,所以内存的合理使用对spark调优至关重要,其实大方向主要关注三个方面CPU,网络带宽,内存。下文主要覆...
概况 spark提供了一些方案来调度资源。首先,每个spark程序都在跑在若干个独立的executor集群上的(其中executor是一个jvm...
起源 spark提供了一种根据负载动态调整资源的的方式,意味着你的程序可以将闲置的资源释放和添加需要的资源。对多个程序共享一块资源是非常有意义的...