Hive动态分区
- 几个参数
- set hive.exec.dynamic.partition=true //使用动态分区
- set hive.exec.dynamic.partition.mode=nonstrick;//无限制模式，如果模式是strict，则必须有一个静态分区，且放在最前面
- set hive.exec.max.dynamic.partitions.pernode=10000;//每个节点生成动态分区的最大个数
- set hive.exec.max.dynamic.partitions=100000;//生成动态分区的最大个数
- set hive.exec.max.created.files=150000;//一个任务最多可以创建的文件数目
- set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数
- 例子
create table d_part(name string)
partitioned by (value string)
row format delimited fields terminated by '\t'
lines terminated by '\n' stored as textfile
insert overwrite table d_part
partition(value)
select name,addr as value from testxt
