sqoop是一个很好用的pipline,但我们在工作中,频繁使用,那么就必须把它封装起来,做成公共脚本,让人方便使用和配置,我的想法是将sqoop用python来调用,每次只需要设置表名,以及需要抽取的字段即可
1、开发sqoop配置文件
既然要用python来调用,那么肯定就需要配配置文件这些,那么就需要python去读取配置文件,获取配置信息,在这里就会用到configparser模块
configparser模块的具体使用方法:
from configparser import ConfigParser #导入
sqoopdbconfig = ConfigParser()
sqooptableconfig = ConfigParser() #初始化
sqoopDbConfigFile = "/home/data/config/sqoop_db.config"
sqoopTableConfigFile = "/home/data/config/sqoop_table.config"
sqoopdbconfig.read(sqoopDbConfigFile, encoding="utf-8") #用read方法读取配置文件
sqooptableconfig.read(sqoopTableConfigFile, encoding="utf-8")
ConfigParser() 是初始化一个对象,然后用read方法去读取配置文件的内容
然后利用get(section,option)方法去获取配置文件的具体信息,get方法获取的值是string类型