【ETL】系列三:Kettle Spoon数据库连接

这节主要说Kettle的数据库连接方式和常见问题的解决方案。

你可能会问,数据库连接有什么好说的?一看就会呀,为什么作为产品经理,需要将数据库连接作为一节单独说?

因为回忆起来也都是泪啊!!!!!!

都是泪

说正经的,对于产品来说,Kettle的数据库连接方式还是有很多的借鉴意义的。

价值一:科普价值,不要被开发鄙视到尘埃里

你系统地知道有哪些类型的数据库么?你知道有几种数据库的连接方式么?你知道不同数据库类型的连接参数有哪些么?你知道如何更好地进行数据源管理么?

坦白说,在做TO C产品时,距离数据库比较远,自己也没有怎么实操过连接数据库去查看数据;在转到TO B产品时,每天都和数据打交道,数据库相关的知识不可缺少。

而kettle作为工具集,可以管理不同数据库的数据,以上的疑问,你都可以获得答案。

价值二:专业价值,为TO B 产品的数据库模块产品设计方式提供参考

数据处理工具,经常涉及到数据库管理,其中,数据库的添加/编辑/测试是基础功能,一般也有通用的设计规范。作为产品经理来说,kettle的设计也是值得借鉴的。

价值三:应用价值,熟练使用Kettle数据库连接方式提升工作效率

工具主要是提升效率,在工具类产品产品经理的日常工作中,还需要对业务方进行产品的培训,使用Kettle工具更高效地进行操作,是工具使用业务方需要掌握的,也是产品需要同步到位的。

言归正传,下文将介绍从Kettle Spoon客户端的数据库连接方式、关于全局数据源和局部数据源、可能出现的问题和解决方案等模块进行介绍。

一、Kettle Spoon客户端的数据库连接方式

打开Kettle Spoon,可以在【文件】-【数据库连接】、【DB连接】等入口进行数据库的连接。    

数据库连接入口示例1


数据库连接入口示例2

在数据库连接界面,我们可以看到创建数据源时需要配置相应的参数,这块主要根据数据库类型进行相应的配置。可是有2种方式来获取数据库。

方式一:数据库表连接信息固定值输入

一般情况下,会选择【一般】,输入【连接名称】,选择【连接类型】如MySQL,连接方式默认为【Native(JDBC)】,不同的连接类型需要配置的具体参数略有不同。

数据库连接界面

填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。

数据库连接测试成功

方式二:数据库表连接信息变量值选择

kettle中如果输入框末尾出现$符号标识说明此处可以使用变量参数来定义,数据库连接的主机名称、数据库名称、端口号、用户名、密码等配置信息即可选择变量值。

变量值的选择需要进行如下步骤:

1、在安装目录下找到“.kettle”文件夹,找到kettle.properties文件;

Kettle.properties文件


2、使用编辑器打开kettle.properties文件,在文件底部添加新的数据库连接信息后保存文件。

变量信息示例:

kettle_mysql_host=10.11.255.60

kettle_mysql_port=63306

kettle_mysql_database=kett***

kettle_mysql_username=root

kettle_mysql_password=Encrypted************09409fe62d2b38cff

说明:

等号“=”左侧为变量名称,右侧为变量值。变量名称需要与已有的数据库连接中变量名称不同。

Kettle.properties文件中数据库表变量信息示例


除了在“.kettle”文件夹下找到kettle.properties文件进行编辑之外,还可以在Spoon 的【编辑】-【编辑kettle.properties】进行编辑。

Kettle Spoon客户端编辑入口
编辑kettle.properties数据库表变量信息示例

注意:对于ETL运行过程中,数据库也是分环境的,可以根据不同的数据库环境下的连接信息,kettle.properties保存多份连接信息,方便切换环境进行数据库连接。

3、进入数据库连接界面,在输入框中添加存在于kettle.properties文件的变量名。

变量名必须事先在kettle.properties文件定义,可以通过以下2个操作来添加。

•   变量名输入,注意输入格式为“${变量名}”

•   变量名选择,使用CTRL-ALT-SPACE选择一个变量

选择变量的快捷键
选择变量名

4、填写好数据库连接信息后,点击”测试”按钮,进行数据库连接的验证。

数据库连接测试成功

二、关于全局数据源和局部数据源

Kettle中对于数据源有作用域的定义,也就是说有局部数据源和全局数据源两种。

 从上文可以看到,在kettle.properties文件中定义好的数据库信息,可以作为全局数据源来使用,在后续的转化脚本和工作脚本可以使用数据库信息。

关于变量的配置,有2种,一种是永久性,一种是临时性,永久性是存在于用户名称下面的.kettle文件夹中的kettle.properties文件,适用于所有的转化文件和工作文件。

临时性的变量配置是属于某个配置的转换文件或工作文件。


设置环境变量入口

点开后可以进行环境变量配置,如下图。

设置环境变量

另外,数据库配置成功后默认情况下数据源作用域为局部数据源,也可以通过右击【DB连接】中的数据库名称进行【共享】操作,将该数据源变更为全局数据源。

共享数据源界面

那如何查看数据源是否为全局数据?

有两种方式,一种是直接打开转化脚本或者作业脚本查看数据源,黑色粗体字为已共享的全局数据源;

另一种是直接打开当前用户下.kettle文件夹中的shared.xml文件是否有对应的数据源名称,如果有则表示是全局数据源名称。

.kettle文件夹中的 shared.xml文件

三、数据库连接的可能出现的问题和解决方案

显示测试连接参数信息,如果连接错误则会显示JAVA连接错误信息,一般连接错误会是以下几种情况:

问题一:  缺少数据库驱动包

解决方案可以参考:Kettle连接MySQL数据库出现问题,连接不上

问题二:数据库无法正常访问

解决方案:检查数据库是否正常访问,正常访问后重试

问题三: 数据库连接参数配置错误

解决方案:检查数据库连接参数,注意空格等,密码不要直接快捷键粘贴,而是右键粘贴等

以上几种情况仅供参考。

四、kettle.properties变量未生效的原因

kettle.properties文件中的数据库变量名在界面上未出现,可能有如下几种情况:

问题一、.kettle文件夹中的kettle.properties文件不在C盘用户文件夹下,导致未读取到kettle.properties

解决方案:将.kettle文件夹复制一份到【C盘】-【用户】文件夹下

问题二:Spoon客户端开启中,没有获取到最新的kettle.properties信息

解决方案:重启spoon后,再打开。

以上是Kettle Spoon数据库连接的分享,虽然数据库连接不是很难,网上的教程也比较多,但是在实际操作过程中,还是会遇到问题,以上分享算是最新的总结吧,希望可以给你帮助。


参考文件:

1.【Kettle从零开始】第三弹之Kettle数据源连接配置

2.kettle环境变量的配置问题

3.[2019 ETL ] Kettle 8.2 怎么连数据库资源库

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 226,097评论 6 523
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 97,198评论 3 410
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 173,602评论 0 370
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 61,750评论 1 304
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 70,684评论 6 404
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 54,151评论 1 317
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 42,349评论 3 433
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 41,430评论 0 282
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 47,986评论 1 328
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,969评论 3 351
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 42,071评论 1 359
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 37,667评论 5 352
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 43,358评论 3 342
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,757评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,944评论 1 278
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 50,684评论 3 384
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 47,123评论 2 368

推荐阅读更多精彩内容