spark与mapreduce之间的选择。
简单来说,spark的优势是快,同样的任务,spark几分钟跑出来,MR要十几分钟甚至1个小时。
但是,实际使用中,如果原生的未调优过,spark的稳定性不如MR。也就是说,一个复杂任务,晚上自动跑起来,spark会莫名其妙的失败,MR则默默运行十几小时后,上午能看到结果。
spark与mapreduce
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- Spark在腾讯数据仓库TDW的应用 | 标点符http://www.biaodianfu.com/spark-t...