Hive数据仓库建设

之前楼主在一家大型P2P公司,这是我们的数据仓库建设,分享给大家!

1.为什么要数据仓库

2.数据仓库的好处

3.数据仓库建设

4.数据仓库中会遇到的问题

1.为什么要数据仓库

为什么要建设数据仓库呢? 在传统数据库里面, 我们有很多东西是实现不了的

比如:

1) 问:我想看到任何一个用户的任何时间的任何一个状态! ,就相当于4维和5维的关系,我们无法看到昨天任何一个人的任何一个细节,我们看到的都是当前的, mysql数据库也一样,只是最终状态的展现,不保存历史, 当然,这和mysql建模也有关系.

答:mysql数据库是无法实现的, 因为没有保存历史.  但是hive可以

2) 问:mysql的数据怎么用作模型数据,怎么实现算法

答:mysql可以导下来excal表格数据,然后用excal表格数据作为数据源,但是当时太low, 如果数据量稍微一大,就GG了, 但是hive可以, 不需要导,直接读取就行

3) 问:mysql数据量如果多了,怎么办?

答:mysql数据量如果多了, 可以优化,可以增加表,增加库,增加配置等,但这不是最终解决办法,但是hive可以, 理论上可以无限叠加数据,只要你磁盘足够.

等等等等,实际应用中的例子太多了


2.数据仓库的好处

如果mysql没有使用kuttle等传统调度工具的话, 很难受的,每一次提取数据都得从底层去提取, 太耗功率,而且容错率极低.

数据仓库就不一样了, 所有的数据都开发成中间件, 都整理好成维度表,按照分区,增全量,干干净净,整整洁洁,数据提取,展示超级方便!


3.数据仓库建设

业务数据库 -> sa(按照业务需要根据时间抽取增全量,一般都是增量,无分区,每天最新分区) -> ods(数据明细层,有分区,每一天的sa层数据=ods的一个分区) -> dws(轻度汇总层,将所有的需要计算的数据,都提前计算好,放到dws层,按照情况定不定分区,我们做维度渐变,需要分区,) 

业务数据库(mysql)  ->sa(通过sqoop抽取) -> ods -> dws -> dwd -> dm -> app层

sa(缓冲层): 直接从mysql和MB用Sqoop抽取的,每天只保存一份,根据需求卡时间抽,包括全量增量

ods(数据明细层): 数据明细层,有分区,每一天的sa层数据=ods的一个分区,这一层的数据经过简单的ETL清洗,比如说去除一些不合逻辑的,去重的,字段命名不规范的.

dws(轻度汇总层):这一层的目的就是报表不需要再从ods层拿数据,如果有一个字段需要从ods层拿数据,那就是dw层没有做的好, 从ODS层中对用户的行为做一个初步的汇总,比如说要统计最近一周的投资人数,投资金额,投资次数,登录次数啊,频率啊,债转成功次数啊,金额啊,受让次数啊,等等,都可以做啊,也是按照主题去汇总的。这里的分区看公司的取舍吧,我们加了分区, 牺牲了磁盘空间, 用作渐变维度。

dwd(维度表,和dws是平行的):这一层主要解决常用不变的维度信息,让维度做一个轻度的汇总,我们可以不需要从各个源数据里面去重新找了, 比如说用户的常用身份信息,身份证,手机号码,登录地址,居住城市,学历等其他很多信息,这些信息来源于不同的表,我们也可以做一个轻度汇总。维度表一般不加分区,但是我们也加了分区的,也需要渐变维度,做一个渐变唯独。每天一份全量。 dwd和dws的区别就是,dwd是一些维度信息, dws是业务的一些维度信息,其实如果稍微笼统的话,两者是可以合并在一起的.

dm(报表层):这一层不多解释了,展示的报表层,我们磁盘多,加个分区把. 我们的业务人员(如运营,产品等)从HUE平台自己写sql查询

app(展示层): 也加分区,这一层和dm层的区别就是,这一层的数据都是要进mysql的, 然后通过mysql展示导web界面,而dm层所有的数据都不要进mysql,如果进了mysql, 就不再dm层了,直接到app层了


4.数据仓库中会遇到的问题

问题: 在从mysql数据抽取的时候,mysql数据会发生变化,而我们抽取过来的数据却是没有变化之前的

如果这点差别业务允许的话,自动忽略吧.  

解决办法1: 集中资源先把所有数据抽取过来,先抽取过来后, 再ETL.你抽取的越快, 数据的差异越小,一般也在允许范围内.如果连这点差异都不能忍受的话,只能按照方法二了

解决办法2: 我们之前使用canal监控mysql变化日志, 然后跑日志,实现数据完全同步,这一块我们实现了, 但是我没有亲自做过.很遗憾.

解决办法还有很多,以后等我找到更好的办法后,再分享!  

其实大数据里面应该出一个类似mysql的数据存储,业务数据全部存储到这个框架里面,  然后他可以无缝实时同步mysql, 而不需要sqoop导入了

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 210,978评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 89,954评论 2 384
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,623评论 0 345
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,324评论 1 282
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,390评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,741评论 1 289
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,892评论 3 405
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,655评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,104评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,451评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,569评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,254评论 4 328
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,834评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,725评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,950评论 1 264
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,260评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,446评论 2 348

推荐阅读更多精彩内容

  • 我看书不多,无非朋友推荐,看别人的二手书及装逼指南知乎,但最主要的还是按畅销书排行榜读书,而《从你的全世界路过》长...
    洛丹伦夏至阅读 261评论 0 0
  • 生活很多事,说到底,还是钱的问题。伤感。18岁以前没出过省,南方人;20岁以前没自由行,跟屁虫;22岁以前没见过雪...
    大可阅读 316评论 4 4
  • 万朵招摇笑北风, 花堤十里漫城东。 谁家女子骑车过, 飘落桥边一片红。
    珠江潮平阅读 2,343评论 47 83
  • “今日的你也是这般无趣呢。”夏天看着倒在地上的安生,眼神有着不属于那个年纪该有的冷漠,然后他踢了安生一脚,“没死就...
    小荷又夏天阅读 143评论 0 0