数仓分层设计
ODS层 元数据层
DWD层 细分数据层(数据的转化和清洗)
DWB层 数据降纬 出明细宽表,作为中间数据使用
DWS层 按照主题划分的日统计宽表,基于DWB层上的基础数据,整合汇总分析某一主题域的服务数据。从dws开始按照主题进行聚合分析
DM数据集市层,主要职责是建设宽表模型,汇总模型等
主要作用是支撑数据分析查询以及支持应用所需数据。
ODS层搭建
hive里建表,从MySQL的数据导入到hive里
用sqoop进行导入,在通过 shell脚本实现
导入方式(全量同步,覆盖同步,增量同步,新增及更新同步)