来源：老顾聊技术 前言 在移动互联网，分布式、微服务盛行的今天，现在项目绝大部分都采用的微服务框架，前后端分离方式， （题外话：前后端的工作职责越来越明确，现在的前端都称之为...
发简信
IP属地：上海
来源：老顾聊技术 前言 在移动互联网，分布式、微服务盛行的今天，现在项目绝大部分都采用的微服务框架，前后端分离方式， （题外话：前后端的工作职责越来越明确，现在的前端都称之为...
一、引言 随着企业系统的发展，应用多采用分布式结构，严重依赖于网络的稳定性。但由于网络天生的不稳定性，系统开发过程中需要考虑网络不稳定情况下如何保证应用的鲁棒性。 设置网络超...
前言 dubbo框架与spring boot整合，不需要导入其他的包，也不需要繁琐的重复配置我这里使用的是idea+gradle4.8+spring boot2.x构建本项目...
这章会利用maven进行分模块，并且引入dubbo和spring-boot，废话不多说，就开始一步步的搭建。 分模块 首先新建一个maven项目（其实目前好像更流行用grad...
在前几篇文章中，我们知道构建一个spark应用，必须要关注的几个类： SparkSession程序入口类 Builder：SparkSession的一个内部类，用于添加配置，...
spark 2.X与1.x的区别 spark sql 2.x以上版本和1.x版本有个很大的区别：spark1.x的sqlContext在spark2.0中被整合到sparkS...
SparkSession是spark sql的入口类： 涉及到的这些类源码需要掌握： 1.SparkSession 2.Builder 3.DataFrameReader：各...
在读源码的过程中，发现了System的一些使用，现记录一下System类源码及其主要作用；System类代表系统，系统级的很多属性和控制方法都放置在该类的内部。该类位于jav...
Kafka为一个分布式的消息队列，spark流操作kafka有两种方式：一种是利用接收器（receiver）和kafaka的高层API实现。一种是不利用接收器，直接用kafk...
一、简介 Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时...
1 实战环境 使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以如果你想要使用Spark-Submit的话就需要使用IDE开...
本文基于Spark2.1.0版本套用官文Tuning Spark中的一句话作为文章的标题： *Often, choose a serialization type will ...
