本文是基于hive-1.4.6文档
sqoop从rdbms导数据到hdfs
- 连接数据库
sqoop import --connect jdbc:mysql://database_host/database_name
使用用户名和密码连接
sqoop import --connect jdbc:mysql://database_host/database_name --username my_name --password mypassword - 选择要导入的数据，包括导入的表，要导入的列
--table table_name指定要导入的表。默认情况下会选择表中的所有列。
--columns "col1,col2,...,"，选择要导入的列。
--where condition选择满足condition的行导入。 - 也可以指定一个查询语句，以这个查询语句的结果作为导入的数据：
--query 'select xxx from xxx where $CONDITION'
where $CONDITION不是必须的，除非当需要sqoop并行的导入查询语句的结果时，sqoop会根据--split-by指定的列分区，然后将$CONDITION 替换为分区条件。
使用了where $CONDITION就意味着必须使用--split-by - 并行导入
sqoop通过运行map-reduce完成数据导入，sqoop需要知道：1. 如何划分mr任务(即没个任务负责导入哪些数据,)；2. 任务并行度.-
-m num_map指定任务并行度为num_map，也就是map任务的个数 -
--split-by col_name, 划分mr任务，当指定--split-by时，sqoop会运行select min(col_name), max(col_name) from <table name>来确定col_name范围，返回根据-m选项值平均划分这个范围，作为每个mr任务负责数据范围， - 没有指定--split-by时，会根据主键划分
- 没有主键又没有--split-by时，任务就不能并行的运行，此时必须指定
-m 1或者--autoreset-to-one-mapper只运行一个map任务。
-
- 控制从rdbms导入数据时事务隔离级别
sqoop导入数据应该是通过查询语句从rdbms中获取数据，默认的隔离级别是read-commit, 通过--relaxed-isolation将隔离级别降至read-uncommited. - 设置输出行格式
sqoop从rdbms导入然后输出到hdfs上普通的text文件时，总是需要特定分隔符确定rdbms中的一行，以及分隔符确定列。mysql默认是'\n'分割行，','分割列。这种分割方式在数据库列中存在'\n'或者'，'时会出错。
通过如下选项避免：- --enclosed-by <char> 用来包围列的，比如：
this is a test, must be in one column | 1 | test
// --enclosed-by '"'，用引号包围每列，假设输出hdfs文件以，分割列
"this is a test, must be in one column", "1", "test" - --enclosed-by <char> 用来包围列的，比如：
- --escaped-by <char>
配合上面的一起用，如果列中有字符和enclosed-by指定的一样，使用es
caped-by，比如：
// 假设下面字符串是数据库表中三列，用|隔开每列
this is a test ", must be in one column | 1 | test
// --enclosed-by '\"' --escaped-by '\\'，用引号包围每列，假设输出hdfs文件以，分割列
"this is a test \", must be in one column", "1", "test"
```
- --fields-terminated-by <char>
指定域分割符，也就是输出到hdfs text文件时分割用的，默认 ','
- --lines-terminated-by <char>
行分割符，rdbms中一行对应到hdfs text文件中一行，指定行分割符，默认'\n'
## 增量导入
增量导入有两种模式：1. 导入新加到数据库中的数据；2. 导入修改的数据。
无论哪种模式都需一个比较基准判断什么数据是新加的（比如大于某个id的都是新加的），或者什么数据是修改的（大于某个时间都是新修改的）。
- `--check-column col` 用于判断的列，检查这个列的值并和基准比较判断是否要被增量导入。
- `--incremental mode` mode可选：1. append, 只导入新加的数据；2. lastmodified，导入更新的数据。
- `--last-value`,判断基准，对于append，它可能是整型的id值，大于该id的导入，对于lasmodified它可能是时间戳。
##sqoop从rdbms导入到hive
1. 使用`sqoop import --hive-import ...`
目标hive表的名字默认和--table中名字一样。
2. `--hive-overwrite`会在目标hive存在是丢弃其中所有数据。
3. `--create-hive-table `会在目标hive不存在是创建，存在会抛异常
4. `--hive-home path/to/your/hive_home`sqoop会创建hive表，设置hive home，sqoop会使用HIVE_HOME/bin/hive命令
5. 当hive使用文本格式存储数据时，默认的行分隔符为'\n\r', field(也就是列)分隔符是'\01'(vim里ctrl + A) 。如果数据库表中列数据中包含这些hive默认分割符，显然存储的数据在hive解析时会出错。
- --hive-drop-import-delims , 用于import时丢弃rdbms中这个字段丢弃。
- --hive-delims-replacement, 用于import时将rdbms中这些分隔符字段替换成另外的。
6. 关与数据库中的列为NULL的字段，默认sqoop会使用字符串"null"表示，而HIVE中NULL使用\N表示，显然使用HIVE SQL ‘is null‘判断会出错。
- --null-string '\\N'， 用于import时将rdbms中的NULL替换成HIVE使用的'\\N', 这个选项用于rdbms中的string类型的列。
- --null-non-string '\\N'，和上面作用一样，设置非string列
- --input-null-string，--input-null-non-string,用于从hdfs导出到rdbms时，设置rdbms的null值
7. --hive-partition-key par-key，--hive-partition-value par-value，将数据导到指定的HIVE表分区， hive-partition-key设置成hive表的分区列，hive-partition-value设置成该列的值。sqoop应该会运行:
`load data inpath hdfs_path into table table_name partition(par-key=par-value)`