数据管理指南之引用数据和主数据

为了便于理解权威的数据管理体系,计划对DMBOK2进行拆解学习,按照原有章节进行梳理;

本文仅仅为学习交流使用,全部摘录于DMBOK2(原版第二版),如有版权问题将即时撤稿!

备注:下文的引用数据被我改为了字典数据,以便于理解,因为我们的系统里的引用数据统一叫字典;

主数据管理上下文

组织内部,需要跨业务领域、跨流程和跨系统使用的数据,也就是需要一致化的共享数据,称之为“主数据”;

在数据体系里字典和主数据都具备这类特征,所以MDM核心是管理字典和主数据;

对于字典来说,MDM系统管理期定义和值域,以确保组织能够访问一套准确且最新的值;

对于主数据来说,MDM系统管理主数据的值和标识符,以确保当前值的准确性和可用性;

字典管理:数据源标识、标准管理、映射管理、人工修正、可信数据下发;

主数据管理:数据源标识、主数据管理、映射管理、人工修正、可信数据下发;

主数据管理是一个全生命周期的管理过程,关键活动包括:

1. 建立主数据实体的上下文,包括相关属性的定义及其使用条件,并加以治理;

2. 识别出在单个数据源内以及多个数据源中代表同一实体的多个实例;构建并维护标识符和交叉引用,以支持信息整合;

3. 协调和整合不同来源的数据,以提供提供主记录或事实的最佳版本。合并记录提供了跨系统的信息合并视图,并视图解决属性命名和数据值不一致的问题;

4. 识别出那些未被正确匹配或合并的实例,确保他们得到修正,并关联到正确的标识符;

5. 通过直接存取、使用数据服务,或通过复制反馈到交易系统、数据仓库或其他分析型数据存储系统,实现可信数据的跨程序访问;

6. 在组织内强制使用主数据。该过程还需要数据治理和变更管理的支持,以确保共享的企业视角。

主数据管理的关键处理步骤:

1. 数据模型管理:定义一致性的逻辑数据和其属性;

2. 数据采集:

(1)接收并应对新的数据源的采集需求;

(2)使用数据清理和数据分析工具进行快速、即时、匹配和高级的数据质量评估;

(3)评估数据并将数据整合的复杂性传递给请求者,以帮助他们进行成本效益分析;

(4)试点数据采集及其对匹配规则的影响;

(5)为新数据源确定数据质量指标;

(6)确定由谁负责监控和维护新数据源数据的质量;

(7)完成与整体数据管理环境的集成;

3. 数据验证、标准化和数据丰富:目的是实现输入数据的一致性,减少关联记录的风险和错误:

(1)验证,识别那些被证明是错误的或可能是不正确或默认的数据;

(2)标准化,确保数据内容符合取值范围、标准的格式(如电话号码)或字段(如地址);

(3)数据丰富,添加可以改进实体解析服务的属性;

例如如下 标化了地址、电话:

输入源数据
标化后的数据

4. 实体解析和标识符管理:包括实例提取、实例准备、实例解析、身份管理、关系分析;

(1)通过匹配识别不同记录如何与单个实体相关联,有可能造成假阳性和假阴性;可以通过确定性匹配和概率性匹配进行算法判断;

(2)身份解析,通过多字段进行数据匹配;

(3)匹配类型包括特定数据的重复去辅助人工判断、链接、合并,规则会随着新数据的引入而变化,可信度也是,所以需要定期重新评估匹配合并规则和匹配链接规则,最好提供数据值的统计相关性,以帮助建立置信级别;

(4)主数据ID管理:全局标识符和交叉引用信息。

(5)主数据之间的关系管理,父子关系、从属关系等;

尽管算法可以实现大部分主数据的自动化,但是仍需要一些管理工作来解决数据错误匹配的情况,并不断改进匹配算法从而减少人工工作;

5. 数据共享和管理工作;

从全局来看,主数据管理步骤:

(1)识别驱动因素和需求;

(2)评估和评价数据源;

(3)定义架构方法;

(4)主数据建模;

(5)定义管理职责和维护过程;

(6)建立治理制度,推动主数据使用;

主数据治理核心过程关注点:

(1)要整合的数据源;

(2)要落实的数据质量规则;

(3)遵守使用规则的条件;

(4)要监控的行动和监控频率;

(5)优先级和数据工作响应等级;

(6)如何展示信息以满足利益相关方的需求;

(7)字典和主数据管理部署的标准授权和预期;

主数据管理度量指标:

 (1)数据质量和遵从性,通过数据质量仪表盘描述数据质量,说明主题域实体或相关属性的置信度(百分比),以及他在整个组织中符合实际需求的使用价值;

(2)数据变更活动,审核可信数据的血缘,展示数据值的变化率,帮助大家理解,并用于调整算法;

(3)数据获取和消费,通过指标展示数据的上游供应系统、下游的消费系统和流程;

(4)服务水平协议SLA;

(5)数据管理专员覆盖率,识别对数据内容负责的个人或团队,展示评估频率;

(6)维护的总成本;

(7)数据共享量和使用情况,指标展示数据共享环境中流入和流出数据的定义、纳入和订阅的数量和速率;

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,816评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,729评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,300评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,780评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,890评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,084评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,151评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,912评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,355评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,666评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,809评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,504评论 4 334
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,150评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,121评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,628评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,724评论 2 351

推荐阅读更多精彩内容