25Hive优化（Hive7）（这节很重要）

本节所讲优化策略适用于任何场景

1.核心思想

把Hive SQL 当做Mapreduce程序去优化
以下SQL不会转为Mapreduce来执行

select仅查询本表字段
where仅对本表字段做条件过滤

Hive抓取策略：
Hive中对某些情况的查询不需要使用MapReduce计算
抓取策略
Set hive.fetch.task.conversion=none/more;
改为none会执行mapreduce。默认会more
以下这些不走mr
hive数据库的哪些函数操作是否走MR

Explain 显示执行计划
EXPLAIN [EXTENDED] query

Hive运行方式：

本地模式
集群模式（默认。平时用的）

本地模式
开启本地模式：
set hive.exec.mode.local.auto=true;
注意：
hive.exec.mode.local.auto.inputbytes.max默认值为128M
表示加载文件的最大值，若大于该配置仍会以集群方式来运行！（这个值可以改大，但不要改太大。依赖内存）

并行计算
通过设置以下参数开启并行模式：
set hive.exec.parallel=true;

注意：hive.exec.parallel.thread.number
（一次SQL计算中允许并行执行的job个数的最大值）
默认是8个

严格模式

通过设置以下参数开启严格模式：
set hive.mapred.mode=strict;
（默认为：nonstrict非严格模式）
查询限制：
1、对于分区表，必须添加where对于分区字段的条件过滤；
2、order by语句必须包含limit输出限制；
3、限制执行笛卡尔积的查询。

对于分区表，必须添加where对于分区字段的条件过滤；

Hive排序

Order By - 对于查询结果做全排序，只允许有一个reduce处理（当数据量较大时，应慎用。严格模式下，必须结合limit来使用）（一般不用，会造成reduce压力过大）
Sort By - 对于单个reduce的数据进行排序
Distribute By - 分区排序，经常和Sort By结合使用
Cluster By - 相当于 Sort By + Distribute By（Cluster By不能通过asc、desc的方式指定排序规则；
可通过 distribute by column sort by column asc|desc 的方式）（一般不用）

Hive Join

Join计算时，将小表（驱动表）放在join的左边
Map Join：在Map端完成Join
两种实现方式：

SQL方式，在SQL语句中添加MapJoin标记（mapjoin hint）
语法：
SELECT /*+ MAPJOIN(smallTable) */ smallTable.key, bigTable.value
FROM smallTable JOIN bigTable ON smallTable.key = bigTable.key;

SELECT /*+ MAPJOIN(a) */ a.key, b.value
FROM a JOIN b ON a.key = b.key;
按文件大小分大小表

开启自动的MapJoin
通过修改以下配置启用自动的mapjoin：
set hive.auto.convert.join = true;
（该参数为true时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表使用Map join）

大表join大表

归结就一点，实现reduce的负载均衡，不要让某一个reduce压力过大。大表join大表最容易发生数据倾斜。

空key过滤：有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而导致内存不够。此时我们应该仔细分析这些异常的key，很多情况下，这些key对应的数据是异常数据，我们需要在SQL语句中进行过滤。
空key转换：有时虽然某个key为空对应的数据很多，但是相应的数据不是异常数据，必须要包含在join的结果中，此时我们可以表a中key为空的字段赋一个随机的值，使得数据随机均匀地分不到不同的reducer上

Map-Side聚合

通过设置以下参数开启在Map端的聚合：(我们在hadoop中map中的combiner做过)

set hive.map.aggr=true;

Hive - JVM重用

适用场景：
1、小文件个数过多
2、task个数过多

通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置
（n为task插槽个数）

缺点：设置开启之后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源！