基于Storm构建实时热力分布项目实战

第1章 课程导学 介绍课程相关背景,学习建议等等 1-1 01-导学_ 1-2 -OOTB环境使用演示 1-3 -授课习惯与学习建议 第2章 初识实时流处理Storm Storm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架,是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于Storm有宏观上的认识:什么是Storm、Storm的发展史、Storm对比Hadoop的区别、Storm对比Spark Streaming的区别、Storm的优势、Storm应用现状及发展趋势、Storm应用案例分享… 2-1 -课程目录 2-2 -Storm是什么 2-3 -Storm发展历史之从Twitter说起 2-4 -Storm发展历史之Storm的成长 2-5 -Storm技术网站介绍 2-6 -Storm和Hadoop的区别 2-7 -Storm和Spark Streaming的区别 2-8 -Storm的优势 2-9 -Storm当前现状与发展趋势 2-10 -Storm应用案例分享 第3章 Storm核心概念 本章节将从如下几个方面带大家深入理解Storm的核心概念:初识Storm核心概念、通过日常生活的案例来理解Storm的核心概念、根据官网的描述来理解Storm核心概念、最后通过画图讲解的方式讲解Storm的核心概念。相信通过多角度对比进行讲解Storm的核心概念,让大家掌握的更加深刻。因为Storm的核心概念的理解是后续Storm课程学习… 3-1 -课程目录 3-2 -初识Storm核心概念 3-3 -Storm核心概念理解记忆概述 3-4 -Storm核心概念理解记忆之地铁运行模型 3-5 -Storm核心概念理解记忆之Storm 3-6 -Storm核心概念小结 3-7 -Storm核心概念官网详解 3-8 -图解Storm核心概念 第4章 Storm编程 本章节将手把手带大家搭建基于IDEA+Maven的Storm的开发环境,通过案例融合Storm编程中常用API的使用以及开发过程中的注意事项。 4-1 -课程目录 4-2 -Storm开发环境搭建 4-3 -Storm核心接口ISpout详解 4-4 -Storm核心接口IComponent详解 4-5 -Storm核心接口IBolt详解 4-6 -Storm求和案例编程之Spout功能实现 4-7 -Storm求和案例编程之Bolt功能实现 4-8 -Storm求和案例编程之Topology提交功能实现及测试 4-9 -Storm词频案例编程之Spout功能实现 4-10 -Storm词频案例编程之Bolt功能实现 4-11 -Storm词频案例编程之Topology提交功能实现及测试 4-12 -Storm编程注意事项 第5章 Storm周边框架使用 本章节将带领大家学习Storm周边常用框架的使用,比如:ZooKeeper、Kafka、Logstash、以及Logstash与Kafka的整合使用。 5-1 -课程目录 5-2 -JDK安装 5-3 -ZooKeeper概述及环境搭建 5-4 -ZooKeeper使用详解 5-5 -Logstash概述及部署 5-6 -Logstash使用之控制台输入输出 5-7 -Logstash使用之文件输入控制台输出 5-8 -Kafka概述 5-9 -Kafka架构及核心概念 5-10 -Kafka单节点单broker的部署及使用 5-11 -Kafka单节点多broker部署及使用 5-12 -Kafka容错性测试 5-13 -Logstash使用之整合Kafka 第6章 Storm架构及部署 本章节将学习Storm的架构以及各个核心组件的功能、并搭建Storm的单机环境和分布式环境、如何提交/查看/杀死Storm作业、Storm UI界面参数介绍 6-1 -课程目录 6-2 -Storm架构详解 6-3 -Storm单机部署之前置条件及解压 6-4 -Storm单机部署之启动Storm各节点及Storm UI界面详解 6-5 -改写Storm作业并提交到Storm单节点集群运行 6-6 -Storm常用命令介绍 6-7 -Storm集群部署规划 6-8 -Storm集群部署之软件包分发和jdk部署 6-9 -Storm集群部署之ZooKeeper分布式环境部署 6-10 -Storm集群部署之Storm集群部署及启动 6-11 -提交Storm作业到集群中运行&目录树介绍 第7章 并行度 本章节将重点讲解Storm的优化中的核心:并行度调整(worker数量、executor数量、task数量),将通过对代码的修改并提交到Storm环境上去运行,结合Storm UI上展示的参数效果来进行调优,让大家对于Storm的并行度有更加深入的理解,本章节是学习和面试过程中重中之重,务必掌握。… 7-1 课程目录_ 7-2 -并行度概念详解 7-3 -如何将Storm集群模式更改为单机模式 7-4 -Storm作业运行UI页面上的参数详解 7-5 -worker数量的设置 7-6 -executor数量的设置 7-7 -task数量的设置 7-8 -acker的设置 7-9 -并行度案例讲解及并行度动态调整 第8章 分组策略 本章节将带来大家通过代码以及UI参数展现的方式来学习Storm中的常用分组策略:Shuffle分组策略、Field分组策略、All分组策略。本章节也是Storm开发过程中务必要掌握的部分。 8-1 -课程目录 8-2 -Stream Grouping概述 8-3 -Shuffle Grouping开发详解 8-4 -FieldGrouping开发详解 8-5 -AllGrouping开发详解 8-6 -Stream Grouping其他 第9章 Storm可靠性 本章节将从如下方面来讲解Storm框架的可靠性:Worker进程、Supervisor进程、nimbus进程、节点、以及消息处理的确认机制(ack/fail)。本章节是面试过程中经常会被考核到的。 9-1 -课程目录 9-2 -Storm进程级别的容错 9-3 -Storm的ack和fail机制 第10章 DRPC 本章节将讲解什么是RPC机制、Hadoop中的RPC使用介绍、如何开发Storm的基于本地和远程模式的DPRC编程 10-1 -课程目录 10-2 -RPC原理图解 10-3 -基于Hadoop的RPC实现.mp4 10-4 -Storm DRPC概述 10-5 -Storm Local DRPC开发 10-6 -Storm Remote DRPC及客户端代码开发 第11章 Storm整合其他大数据框架的使用 本章节将讲解Storm如何整合Redis、JDBC、HDFS、HBase、ES等常用的大数据框架综合使用。在生产环境中,Storm都是需要整合周边框架一起配合使用,各自完成自己的职责,进而完成大数据的实时流处理项目 11-1 -课程目录 11-2 -Storm整合Redis使用概述 11-3 -Storm整合Redis编程开发 11-4 -Storm整合jdbc概述 11-5 -Storm整合JDBC编程开发 11-6 -Storm整合HDFS使用概述 11-7 -HDFS环境快速搭建 11-8 -Storm整合HDFS编程开发 11-9 -Storm整合HBase概述 11-10 -HBase环境快速搭建 11-11 -Storm整合HBase编程开发 11-12 -Storm整合Elasticsearch概述 第12章 Storm综合项目实战 本章节将带领大家使用Logstash+Kafka+Storm+高德地图来实现基于一个交通数据的热力图的实时展示项目,通过该项目使得大家能够具备和掌握如何使用Storm来架构一个实时流处理项目的能力 12-1 -课程目录 12-2 -项目概述 12-3 -如何采集实时区域人流量数据.mp4 12-4 -项目架构 12-5 -高德地图API基本使用 12-6 -高德地图API常用工具介绍 12-7 -高德地图热力图静态数据展示 12-8 -Storm整合Kafka原理 12-9 -Storm整合Kafka功能开发 12-10 -Storm整合Kafka功能测试 12-11 -Logstash和Kafka的整合注意事项详解 12-12 -数据源产生器开发 12-13 -打通整条实时流处理流程链路 12-14 -项目处理及表结构设计 12-15 -Storm处理结果存储到数据库中 12-16 -通过SQL完成我们的最终结果统计 12-17 -基于SpringBoot构建Web项目 12-18 -动态获取数据并在高德地图上展示出热力图 12-19 -添加统计的时间范围并在热力图上展示 12-20 -项目扩展 第13章 课程总结 对课程回顾总结 13-1 课程总结及后续课程计划
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354

推荐阅读更多精彩内容

  • Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在...
    祝威廉阅读 10,090评论 8 40
  • 初识log4j1.x 研究源码首先要对项目要有整体的认识,这一章节主要让大家对log4j1.x有一个整体的认识,并...
    gsonliu阅读 390评论 0 1
  • 如果有一天,科学家们破解了关于爱情的所有奥秘,那么,这个世界上还有爱情吗? 如果有一天,神经科学家们知道了关于爱情...
    你看得见我阅读 157评论 0 0