眼君的大数据之路 - 专题

投稿

收录了34篇文章 · 6人关注

实操 - Centos7虚拟机搭建Spark2.0.1-without Hadoop集群环境
在进行以下操作前，以经在虚拟机中安装了Hadoop集群环境。下载解压将spark下载解压到虚拟机中：修改配置文件以下命令进入spark配...

眼君 0 0
实操 - Centos7虚拟机搭建Hadoop集群环境
一、安装虚拟机点击从光盘或映像中安装，选择创建虚拟机的镜像继续下一步，点击自定设置，修改虚拟机的名称打开虚拟机设置菜单打开虚拟机设置菜单....

0.1 眼君 0 1

Centos7虚拟机配置Linux网络配置笔记
一些命令:ifconfig命令：查看与配置网络状态命令ifconfig eth0 192.168.0.200 netmask 255.255.2...

眼君 0 0
Flink的API
Source API 以下scala代码展示了几种source类型： flink从kafka获取源数据首先pow文件需要添加如下依赖：以下代...

眼君 0 0
Flink的简单使用
Scala编写批处理和流处理wordcount 这部分，我们在idea上使用Maven编写Scala程序实现批处理wordcount功能。 po...

0.3 眼君 0 2
MapReduce开发笔记(使用Eclipse编写执行Hadoop)
环境搭建 1、测试Hadoop集群环境首先我们已经成功部署安装了一个hadoop集群，然后本地可以连接到集群的Master节点。假设集群Mas...

0.1 眼君 0 2
Sqoop安装与使用
概述 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将...

0.7 眼君 0 5

Hive的安装和部署
MySQL的安装和部署 MySQL下载 hive的元数据一般存储在MySQL中，所以我们需要先安装一个MySQL：如果centos报如下错误：...

0.1 眼君 0 1
数据漂移问题与解决
什么是数据漂移通常我们把从源系统同步进入数仓的第一层数据称为 ODS或者staging层数据，接入层。数据漂移是接入层数据的一个顽疾。数据...

0.1 眼君 0 2
Kafka使用笔记(三、消费者详解)
概念消费者和消费组 kafka消费者是消费组的一部分，当多个消费者形成一个消费组来消费主题时，每个消费者会接收到不同分区的消息。假设有一个T1...

0.1 眼君 0 1