模型层次
1)数据操作层:把数据几乎无处理的放在数据仓库中
① 同步:保存增存量的结构化数据
② 结构化:把非结构化数据结构化处理并保存
③ 积累历史数据:根据需求保存历史数据
④ 数据清洗
2)公共维度层:存放明细事实数据、维表数据、公共指标汇总
① 明细事实数据、维表数据从ODS层数据加工而来,公共指标汇总数据从细事实数据、维表数据加工而来
② DWD和DWS层主要的作用是组合相似数据,建立明细宽表,减少事实表和维度表的关联计算,提高明细表的易用性
3)应用数据层:存放产品个性化指标
数据服务优先调用CDM层数据,当数据缺失就对数据进行评估是否新建公共层数据。如果不需要则调用ODS层数据,ADS层数据一般不提供数据服务
基本原则
1)高内聚低耦合:从业务、访问两个角度分析
① 将业务相近的数据设计为一个模型
② 将同时被访问概率高的数据设计为一个模型,低概率的分来设计
2)核心业务数据与扩展业务数据分离:防止扩展业务破坏核心业务的整体性
3)相同含义的字段在不同表中字段名相同