ETL是什么
数据抽取、转换和加载(Extraction-Transformation-Loading)
1.数据抽取
ODI是指Oracle Data Integrator ,oracle提供的ETL工具,可以实现跨数据库抽取数据。
对于非数据库数据,可以使用程序进行推送,通过定时任务,使用程序读取数据,插入到数据仓库对应表中
2.转换
说到转换,就要说明一下数据仓库分层
ODS层: 存储明细数据
DW层 :存储轻度汇总的数据
DM成:存储高度汇总的数据
DIM层:存储参数表所有的版本数据,具有参数版本的有效日期范围
数据转换,是指将业务数据进行加工,比如日期格式,指标等,转换成数据库需要的形式,然后加载到数据仓库的ODS层表
创建DBLINK
-- Create database link
create database link sourcepdb
connect to source-dw identified by 123
using '(DESCRIPTION = (ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST = IP)(PORT = 1521)))
(CONNECT_DATA = (SERVICE_NAME = sourcepdb)))';
持续更新中...