维度建模:缓慢变化维SCD

缓慢变化维(Slowly Changing Dimension)就是变化相对缓慢(相对与快速变化的事实表来说)的维度。

在维度建模理论中,有8种处理方式,包括基础的5种以及混合的3种。 再加上大数据时代的2种极限型,共10种

1、基础型

1.1、类型0: 保留原始值

维度属性值不做更改,保留原始值。
此方式什么也不做,所以称之为方式0。

eg.比如商品上架售卖时间:一个商品上架售卖后可能由于缺货下架,补充库存后又再次上架,此种情况产生了多个商品上架售卖时间。如果重点关注的是商品首次上架售卖时间,则采用方式0。

1.2、类型1: 直接覆盖

修改维度属性为最新值,直接覆盖,不保留历史信息

eg.比如商品属于哪个品类:当商品品类发生变化时,直接重写为新品类,如果业务只关心最新的品类。

1.3、类型2: 增加新行(需要增加代理键)

在维度表中增加新的一行,新行中采用新的属性值。此种方式需要借助代理键,需要为新行分配新的代理键,将其作为事实表的外键

采用此方式,一般会在维度行中额外增加3列:行生效时间,行失效时间以及当前行标识(或者不使用当前行标识,由行失效时间来判断是否是当前行)

此方式及其变种是处理缓慢变化维的主要技术。

1.4、类型3: 增加新属性列

在维度表中增加新的一列,原先属性列存放上一版本的属性值,当前属性列存放当前版本的属性值。

1.5、类型4: 增加微型维度

当某维表是一个大型维度表,采用类型2(增加新行)时,如果某些维度属性变化相对较快,会导致该维表变得越来越大,导致存储压力和性能压力

将某些维度属性从该大型维表中抽离出来,单独构建RFM微型维度。并在相关事实表中增加RFM键作为外键。


类型4:微型维度

2、混合型

2.1、类型5: 微型维度与类型1支架维度

a.该方式是类型1和类型4的结合,即建立微型维度后,微型维度的主键不仅作为事实表的外键,也作为主维度的外键。
b.在主维度中,此微型维度属性以类型1处理,即当该属性发生变化时,直接覆盖,不保留历史信息。
c.这种情况下的微型维度被称之为支架。

类型5: 支架维度

2.2、类型6: 将类型1属性增加到类型2维度

此种方式复杂,在少数特定迫切的场景下才会使用。如商品的品类变化

该方式是类型1(直接覆盖)、2(增加新行)、3(增加新列)的结合,即同时增加维度行和维度列,并以类型1(直接覆盖)处理新加的维度列(当前属性)。


类型6: 将类型1属性增加到类型2维度

2.3、类型7:双重外键并且类型1与类型2结合

在类型2(增加新行)的基础上,不仅是维度的代理键作为事实表外键,维度的自然键(如果自然键会被重新分配,发生变化,应该使用持续性超自然键)也同时作为事实表外键

事实表通过代理键连接维表获取历史维度属性,通过自然键连接维表获取当前维度属性。


类型7:双重外键并且类型1与类型2结合

3、极限型

3.1、类型8: 快照维度

此种方式比较暴力,每天保留全量维度属性的快照数据,自然键及日期键作为事实表的外键。

此方式依托的是当前存储成本远低于计算成本,以空间换时间的理念。
如商品快照维度表


类型8: 快照维度

3.2、类型9:历史拉链维度

此方式是类型2(增加新行)的阉割版,同样是增加维度行。
舍弃了代理键,因为如MapReduce之类的分布式计算引擎,维护全局唯一的代理键难度大,成本高。

类型9:历史拉链维度

优点是此方式相比方式8,大大降低了存储(当然前提是不包含变化频率很高的维度属性,如果有,请考虑进行垂直拆分)。
缺点是和事实表连接时会有一些不足。如事实表只能以时间切片的方式和维度表进行连接,如果事实表要多个时间切片同时与维度表关联,需要一定的技术改造。

————————————————
版权声明:本文为CSDN博主「qq_36039236」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_36039236/article/details/107819326

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,294评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,780评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,001评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,593评论 1 289
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,687评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,679评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,667评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,426评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,872评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,180评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,346评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,019评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,658评论 3 323
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,268评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,495评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,275评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,207评论 2 352

推荐阅读更多精彩内容