Hive 分桶
- 分桶
- 对于每一个表或者分区，Hive可以进一步组织成桶，也就是更为细粒度的数据范围划分
- Hive是针对某一列进行分桶
- Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中
- 好处
- 获得更高的查询处理效率
- 使取样（sampling） 更高效
- 分桶的使用
- select * from bucketed_user
- tablesample(bucket 1 out of 2 on id)
- bucket join
- set hive.optimize.bucketmapjoin = true;
- set hive.optimize.bucketmapjoin.sortedmerge= true;
- set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;
- 样例：
- create table bucketed_user(
- id int,
- name string
- )
- clustered by (id) sorted by (name) into 4 buckets
- row format delimited fields terminated by '\t' stored as textfile;
- 分桶默认不开启 需开启
- Set hive.enforce.bucketing= true;
- 链接两个在（包含连接列）相同列上划分了桶的表，可以使用Map端链接（Map-side join）高效的实现。比如Join操作。对于Join操作两个表有一个相同的列，如果对着两个表都进行了桶操作。那么将保持相同列值得桶进行Join操作就可以，可以大大减少Join的数据量。
- 对于map端连接的情况，两个表以相同方式划分桶。处理左边表内某个桶的mapper知道右边的表内相匹配的行在对应的桶内。因此，mapper只需要获取那个桶（这只是右边表内存储数据的一小部分）即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同，两个表的桶个数是倍数关系也可以。
