《DAMA-DMBOK2》读书笔记-第10章参考数据和主数据

1 文章结构脑图

第10章参考数据和主数据 4%.png

2 基本概念

2.1 主数据

主数据： 是有关业务实体(如雇员、客户、产品、金融结构、资产和位置等)的数据,这些实体为业务交易和分析提供了语境信息。 P270
实体： 是客观世界的对象(人、组织、地方或事物等)。 P270
主数据应该代表与关键业务实体有关的权威的、最准确的数据。 P270
一般组织的主数据包括: 参与方、产品和服务、财务体系、位置信息。P270

记录系统，参考系统。P270
记录系统(System of Record): 是一个权威的系统,它通过使用一套定义好的规则和预期(如ERP系统可以是记录销售客户的记录系统)来创建、获取并维护数据。
参考系统(System of Reference): 也是一个权威系统,数据消费者可以从参考系统中获得可靠的数据来支持交易和分析,即使这些信息并非起源于参考系统。
主管理管理应用 MDM、数据共享中心 DSH、数据仓库 DW 都可以用作参考系统。

可信来源，黄金记录。P271
可信来源(Trusted Source): 被认为是“事实的最佳版本”。可信来源也可以称为一种单一视图、360度视图。在可信来源中，表示一个实体、实体的最准确数据的记录称为黄金记录(Golden Record)。
技术目标将黄金记录定义为“事实的单一版本”,其中“事实”是指数据用户希望在确保他们拥有正确版本的信息时就可以把它们作为查阅的参考资料。
主数据管理。P271
主数据管理只有做到对主数据值和标识符的控制,才能保证在系统间实现对核心业务实体最准确、最及时的数据的一致使用。目标包括确保准确的、最新的值的可用性,同时降低不明确标识符的风险。
Gartner的定义强调主数据管理是一个由人、流程和技术组成的知识领域,并不是一个特定的应用程序解决方案。

评估一个组织的主数据管理情况,需要识别以下几点: P271

1)哪些角色、组织、地点和事物被反复引用。
2)哪些数据被用来描述人、组织、地点和事物。
3)数据是如何被定义和设计的,以及数据粒度细化程度如何。
4)数据在哪里被创建或来源于哪里,在哪里被储存、提供和访问。
5)数据通过组织内的系统时是如何变化的。
6)谁使用这些数据,为了什么目的。
7)用什么标准来衡量数据及其来源的质量和可靠性。

在一个域内规划主数据管理包括以下几个基本步骤: P272

1)识别能提供主数据实体全面视图的候选数据源。
2)为精确匹配和合并实体、实例制定规则。
3)建立识别和恢复未恰当匹配或合并的数据的方法。
4)建立将可信数据分发到整个企业的系统中的方法。

主数据管理是一个全生命周期的管理过程。全生命周期中的关键活动包括: P272

1)建立主数据实体的上下文,包括相关属性的定义及其使用条件,并加以治理。
2)识别出在单个数据源内以及多个数据源中代表同一实体的多个实例;构建并维护标识符和交叉引用,以支持信息整合。
3)协调和整合不同来源的数据,以提供主记录或事实的最佳版本。合并记录提供了跨系统的信息合并视图,并试图解决属性命名和数据值不一致的问题。
4)识别出那些未被正确匹配或合并的实例,确保它们得到修正, 并关联到正确的标识符。
5)通过直接存取、使用数据服务,或通过复制反馈到交易系统、数据仓库或其他分析性数据存储系统,实现对可信数据的跨程序访问。
6)在组织内强制使用主数据。这个过程还需数据治理和变更管理的支持,以确保共享的企业视角。

主数据管理的关键处理步骤 P272
主数据管理的关键处理步骤： 数据模型管理。数据采集。数据验证/标准化和丰富。实体解析。数据共享和管理工作。
1. 数据模型管理： 对于主数据来说，在企业级使用的术语和定义应该与整个组织所进行的业务相关联，而不必依赖于源系统贡献的数据值。构成主数据的属性，定义的粒度和相关数据值的粒度在整个组织中也必须有意义。不同系统中的不同命名的多个属性，要在模型中合并为单一属性。 P272
2. 数据采集: 从规划、评估和合并新的数据源到确定主数据管理解决方案，必须是一个可靠的、可重复的过程。 P272
 数据采集活动包括: 1接收并应对新的数据源采集的要求。2使用数据清理和数据分析工具进行快速、即时、匹配和高级的数据质量评估。3评估数据并将数据整合的复杂性传递给请求者，以帮助他们进行成本效益分析。4试点数据采集及其对匹配规则的影响。5为新数据源确定数据质量指标。6确定由谁负责监控和维护新数据源数据的质量。
3. 数据验证、标准化和数据丰富: 实现实体的解析，数据应尽可能保持一致。
 过程: 1验证。识别那些被证明是错误的或可能是不正确或默认的数据。2标准化。确保数据内容符合标准参考数据值(如国家代码)、标准的格式(如电话号码)或字段(如地址)。3数据丰富。添加可以改进实体解析服务的属性。 P273
4. 实体解析和标识符管理: 实体解析(Entity Resolution)是确定两个对现实世界对象的引用到底是指同一对象还是不同对象的过程，是决策过程。 P273
 实体解析包括一系列活动: 实例提取、实例准备、实例解析、身份管理、关系分析。
5. 数据共享和管理责任工作: 有自动化，但人工不可少。 P276

实体解析： P274

1匹配(Matching)。 匹配或候选识别是识别不同记录如何与单个实体相关联的过程。
这个过程的风险是：
a)假阳性(False Positives): 不代表同一实体的两个对象被关联在一个标识符下。假阳性导致一个标识符指向多个现实世界的实体实例。
b)**假阴性(False Negatives): ** 代表同一实体的两个对象没有关联在一个标识符下。假阴性导致多个标识符指向同一个现实世界的实体，但一个实体本应该有且只有一个标识符。
假阳性和假阴性都可以通过相似性分析或匹配的过程来处理，有 a)确定式算法;b)或然性算法。P274-275
2身份解析。 一些匹配采用多个字段实现精确数据匹配，故可信度很高;另一些匹配则由于数值冲突而缺少可信度。
3匹配流程/协调类型。 不同场景的匹配规则需要不同的工作流程:
a)重复标识匹配规则。重点关注一组特定的数据元素，这些无素能唯一标识实体，识别合并机会而不采取自动合并操作。
b)匹配链接规则。标识可与主记录相关的记录，只建立交叉引用关系而不更新这些被交叉引用的记录的内容。
c)匹配合并规则。重点关注记录的匹配，并将这些记录中的数据合并为单一、统一、协调且全面的记录。匹配合并规则如此复杂，目的就是希望在多个记录和数据源中提供统一的、协调的信息版本。P275-276
4主数据 ID 管理。 管理主数据涉及管理标识符。在主数据管理环境中，有两种类型的标识符需要跨数据源管理:全局标识符(GlobalID)、交叉引用(X-Ref)信息。
全局标识符是主数据管理解决方案分配和维护的唯一标识符，它会被附加到协调记录中，其目的是能唯一标识一个实体实例。
交叉引用管理(X-Ref Management)是对源ID和全局标识符之间关系的管理,交叉引用管理应该包括维护此类映射历史的功能以支持匹配率指标,并开放查找服务以支持数据整合。P276
5从属关系管理。 从属关系管理负责建立和维护具有现实世界关系的实体主数据记录之间的关系。a)隶属关系。b)父子关系。P276

参与方主数据 P277
参与方主数据(Party Master Data): 是关于个人、组织以及他们在业务关系中所扮演角色的数据。
无论什么行业，管理业务参与方主数据均面临一定的挑战:
1)个人和组织扮演的角色和他们之间关系的复杂性。
2)唯一标识的困难。
3)数据源的数量和它们之间的差异。
4)多个移动通信信道和社交渠道。
5)数据的重要性。
6)客户想要怎样参与的期望。
财务主数据 P277
财务主数据(Financial Master Data): 包括有关业务部门、成本中心、利润中心、总账账户、预算、计划和项目的数据。
法律主数据 P277
法律主数据(Legal Master Data): 包括关于合同、法规和其他法律事务的数据。
产品主数据 P277
产品主数据(Product Master Data): 专注于组织的内部产品和服务,或全行业的产品和服务(包括竞争对手)。
不同类型的产品主数据解决方案支持不同的业务功能。
1)产品生命周期管理(PLM) 系统侧重于从构想、开发、制造、销售、交付、服务和废弃等方面管理产品或服务的生命周期。
2)产品数据管理(PDM)系统: 设计文档(如 CAD 图样)、配方(制造说明书)、标准操作程序和物料清单(BOM)等产品信息。
3)企业资源规划(ERP)系统 的产品数据主要关注库存单位。
4)制造执行系统(MES) 中的产品数据主要关注原材料库存、半成品和成品。
5)客户关系管理(CRM) 系统支持营销、销售和交互支持。
位置主数据 P277
位置主数据(Location Master Data) 提供跟踪和共享地理信息的能力,并根据地理信息创建层次关系或地图。
行业主数据——参考目录 P277
参考目录 是主数据实体(公司、人员、产品等)的权威清单,组织可以购买和使用主数据实体作为交易的基础。
==获得正式许可的参考目录例子包括邓白氏公司(D&B)全球总部、各地子公司、分支机构的公司目录、美国医学协会医生处方数据库等。==

2.2 参考数据

参考数据 是指可用于描述或分类其他数据,或者将数据与组织外部的信息联系起来的任何数据。最基本的参考数据由代码和描述组成,但是有些参考数据可能更复杂,还包含映射和层次结构。 P266
==参考数据虚拟地存在于每个数据存储中,可以根据状态或类型进行分类(如订单状态:新订单、处理中的订单、已结束的订单、已取消的订单),也可以根据其他外部信息(如地理信息或标准信息)进行分类(如国家代码:DE、US、TR)。==

参考数据常用的存储技术包括： P266
1)关系数据库中的代码表。通过外键与保持参照完整性。代码值是主标识符,是在其他上下文中出现的短格式参考值。
2)参考数据管理系统。支持更广泛的应用和数据整合使用。
3)用特定于对象属性的元数据指定允许值，重点在于应用程序的调用接口或用户界面访问。==【第一种是系统中存储一个代码表，第二种是独立的一个存储各类参考数据的系统，第三种是直接在相关的属性上的枚举值】==。

参考数据的一个重要元数据属性就包括其来源, 如行业标准参考数据的管理机构。 P266

参考数据结构 P266
1)列表。最简单的参考数据是由代码值和代码描述组成的列表。
2)交叉参考数据列表。不同的应用程序可以使用不同的代码集表示相同的概念。
3)分类法。分类参考数据体系根据不同级别的差异性获取信息。
4)本体。一些组织将用于管理网站内容的本体作为参考数据的一部分，本体模型也可以理解为是元数据的一种形式。
专有或内部参考数据 P269
行业参考数据 P269
行业参考数据(Industry Reference Data)： 是一个宽泛的术语,用于描述由行业协会或政府机构而不是由某个组织创建和维护的数据集,以便为编码重要的概念提供一个通用的标准。
==例如,国际疾病分类代码(ICD)提供了一种常见的方法对健康状况(诊断)和治疗(程序)进行分类。==
地理或地理统计参考数据 P269
地理或地理统计参考数据(Geographic or Geo-statistical Reference Data)可根据地理信息进行分类或分析。
==例如,人口普查局关于人口密度和人口结构变化的报告,为市场规划和研究提供了依据;将历史气象信息对应到严格的地理分类,可以为库存管理和促销计划提供依据。==
计算参考数据 P269
计算参考数据(Computational Reference Data)： 与其他类型数据的主要区别在于其变化的频率。为了确保数据的完整性和准确性,许多组织从第三方购买这种数据。
==例如, 外汇计算依赖于良好管理的、及时更新的交换汇率值表。==
标准参考数据集的元数据 P269

2.3 主数据和参考数据的区别

奇泽姆(Malcolm Chisholm)的六层的数据分类法： 元数据、参考数据、企业结构数据、交易结构数据、交易活动数据和交易审计数据。
他将主数据定义为参考数据、企业结构数据和交易结构数据的聚合。
主数据是“以与业务活动相关的通用和抽象概念形式提供业务活动语境的数据，包括业务交易中涉及的内部和外部对象的详细信息(定义和标识符)，如客户、产品、雇员、供应商和受控域(代码值)”。主数据面临的主要挑战是实体解析。 P264

从概念上来说,参考数据和主数据有着相似的用途。两者都为交易数据的创建和使用提供重要的上下文信息。 P264

参考数据和主数据管理的重点不同： P265
1)参考数据管理(Reference Data Management，RDM)。需要对定义的域值及其定义进行控制。目标是确保组织能访问每个概念的一整套准确且值是最新。
2)主数据管理(Master Data Management，MDM)。需要对主数据的值和标识符进行控制，以便能够跨系统地、一致地使用核心业务实体中最准确、最及时的数据。主数据管理的目标包括确保当前值的准确性和可用性，同时降低由那些不明确的标识符所引发的相关风险。参考数据管理面临的别一个挑战是由谁主导或负责参考数据的定义和维护。

2.4 数据共享架构

实现主数据中心环境的三种基本方法： P280 见下图10-3
** 1)注册表(Registry)：** 注册表是指向多种记录系统(System of Record)中主数据记录的索引。
** 2)交易中心(Transaction Hub)：** 主数据存在于交易中心内，而不存在于任何其他的应用程序中。交易中心是主数据的记录系统。
** 3)混合模式 (Consolidated)：** 是注册表和交易中心的混合体。记录系统管理应用程序本地的主数据。主数据在一个公共存储库中被合并，并经由数据共享中心实现共享。

3 语境关系图

3.1 定义

3.2 目标

目标：
1)确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据。
2)促使企业在各业务单元和各应用系统之间共享参考数据和主数据。
3)通过采用标准的、通用的数据模型和整合模式，降低数据使用和数据整合的成本及复杂性。
【==促一致。促共享。控成本==】P263

指导原则：
1)共享数据。为能共享必须管理起来。
2)所有权。所有权属于整个组织，需要全局的组织管理。
3)质量。需要持续的监控和治理。
4)管理职责。业务数据管理专员要对质量负责。
5)控制变更。1在给定的时间点，主数据值应代表最佳理解。改变数据值的匹配规则有监督。合并或拆分可追溯的。2对参考数据的更改应遵循明确流程:在实施变更之前应得到批准。
6)权限。主数据值应仅从记录系统中复制。为实现跨组织的共享，需建立参考数据管理系统。P264

3.3 业务驱动因素

主数据管理常见业务驱动因素: ==1)满足组织数据需求==。共同数据集的完整、最新、一致的。==2) 管理数据质量==。管控至关重要实体的数据质量。==3)管理数据集成的成本== 。==4)降低风险==。【==满足需求、管控质量、管控成本、降低风险==】 P262

参考数据管理的驱动因素： 1)通过使用一致的参考数据，满足多个项目的数据需求，降低数据整合的风险和成本。2)提升参考数据的质量。【==降本、提质==】P262

3.4 输入

3.5 活动

3.5.1 主数据管理活动

识别驱动因素和需求。
评估和评估数据源。
定义架构方法。取决于业务战略、现有数据源平台、数据本身，还有数据血缘和波动性及延迟的影响。
建模主数据。数据整合的过程。必须在主题域内为数据建模。
定义管理职责和维护过程。向源系统反馈，修复和改进数据遗失的流程。
建立治理制度，推动主数据使用。要有路线图。==(重点*****)== P280-282

3.5.2 参考数据管理活动

定义驱动因素和需求。主要是运行效率和更高的数据质量，减少系统不一致的风险。
评估数据源。
定义架构方法。
建模参考数据。
定义管理职责和维护流程。
建立参考数据治理制度。P282-284

3.6 交付成果

3.7 技术驱动因素

3.8 方法

3.9 工具

3.10 度量指标

数据质量和遵从性。数据质量仪表板可以描述参考数据和主数据的质量。
数据变更活动。审核可信数据的血缘对于提高数据共享环境中的数据质量是必要的。
数据获取和消费。
服务水平协议(SLA)。
数据管理专员覆盖率。可以用来识别支持方面的差距。
拥有总成本。可以包括环境基础设施、软件许可证、支持人员、咨询费、培训等。
数据共享量和使用情况。

4 实施指南

4.1 监控相关数据流

监控相关数据流，以便实现以下目的：

数据如何共享和使用。
识别数据的血缘关系。
辅助问题追因分析。
展示数据整合和技术的有效性。
展示源系统数据值延迟。
确定在集成组件中执行的业务规则和转换的有效性。P284

4.2 管理参考数据变更

由于参考数据属于共享资源,所以不应任意更改。成功管理参考数据的关键在于,组织放弃本地控制共享数据的意愿。P285

参考数据修改的类型包括: 1)对外部参考数据集的行级变更。2)外部参考数据集的结构变化。 3)对内部参考数据集的行级变更。4)内部参考数据集的结构变化。5)创建新的参考数据集。
P285

参考数据变更请求流程: 1 接受变更请求。2 确定利益相关方。3 确认影响。4 决策和沟通。5 更新并通知(如果可行)。P285 见下图10-5

5 参考数据和主数据的治理

治理过程应决定如下事项：

1)要整合的数据源。
2)要落实的数据质量规则。
3)遵守使用规则的条件。
4)要监控的行动和监控频率。
5)优先级和数据工作响应等级。
6)如何展示信息以满足利益相关方的需求。
7)参考数据管理和主数据管理部署的标准授权扎口和预期。P287

6 关键架构图

图10-1 参考数据和主数据语境关系图

图10-1 参考数据和主数据语境关系图
图 10-2 主数据管理的关键处理步骤

图 10-2 主数据管理的关键处理步骤
图10-3 主数据共享架构示例

图10-3 主数据共享架构示例
图10-4 参考数据变更请求流程

图10-4 参考数据变更请求流程

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,816评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,729评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 158,300评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,780评论 1赞 285
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,890评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,084评论 1赞 291
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,151评论 3赞 410
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,912评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,355评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,666评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,809评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,504评论 4赞 334
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,150评论 3赞 317
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,882评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,121评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,628评论 2赞 362
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,724评论 2赞 351

《DAMA-DMBOK2》读书笔记-第10章 参考数据和主数据