spark的核心是sparkcore,sparkstreaming，sparkgraph,sparkmlib其实是构建在sparkcore之上的...
投稿
收录了21篇文章 · 81人关注
spark的核心是sparkcore,sparkstreaming，sparkgraph,sparkmlib其实是构建在sparkcore之上的...
RDD的三个问题 1.RDD到底是怎么生成的 2.具体执行的时候，是否和基于Spark Core上的RDD有所不同，runtime级别的 3.运...
一：Receiver启动的方式设想 1.Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driv...
Spark Streaming应用程序有以下特点： 1. 不断持续接收数据 2. Receiver和Driver不在同一节点中 Spark...
Spark是粗粒度的，即在默认情况下会预先分配好资源，再进行计算。 好处是资源提前分配好，有计算任务时就直接使用计算资源，不用再考虑资源分配。 ...
伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，轻而易举可以拿到百万的薪酬。而要想成为Spark高...
在使用spark streaming消费kafka数据时，程序异常中断下发现会有数据丢失的情况。下文将说明如何避免这种情况。 Definitio...
一. 背景 hdfs,map-reduce,spark,yarn是大数据处理的基础组件。在发展了几年之后，已经成为了比较通用的数据处理工具。记得...
最近在项目中遇到二次排序的需求，和平常开发spark的application一样，开始查看API，编码，调试，验证结果。由于之前对spark的A...
Pair RDD基本操作 虽然大部分Spark的RDD操作都支持所有种类的对象，但是有少部分特殊的操作只能作用于键值对类型的RDD。这类操作中最...
专题公告
spark Learn
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/243016/1458016948.jpg', '推荐专题《spark》（ 分享自 @简书 ）','//www.greatytc.com/c/2f427790c4a9?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}