hive性能优化主要是在数据查询、联合查询（JOIN）方面的优化。基本上可以在以下几个方面进行优化：
一、小文件
小文件产生原因：
a.在数据插入时候做了动态分区（文件个数 = maptask个数 * 分区数）
当分区字段包含不同值比较多比如按照分钟分区，一小时会产生60个分区文件。
b.数据源本身就包含很多小文件
c.reduce个数越多，生成的小文件也越多(reduce的个数和输出文件是对应的)
小文件产生的影响：
a.Hive层面上看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能;
b.在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。
小文件解决方案：
1、从小文件的产生途径解决;
a.使用Sequencefile作为表存储格式，不要用textfile，在一定程度上可以减少小文 件。set hive.exec.dynamic.partition=true
set hive.exec.dynamic.partition.mode=strictb.减少reduce的数量;
set mapred.reduce.tasks=10c.使用distribute by分区，尽量减少使用动态分区。
2、对已存在的小文件进行解决
a.使用hadoop archive命令把小文件进行归档;
Hadoop Archive或者HAR，是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样在减少namenode内存使用的同时，仍然允许对文件进行透明的访问。
b.重建表，建表时减少reduce数量；
c.设置map/reduce端的相关参数
//每个Map最大输入大小(这个值决定了合并后文件的数量)
set mapred.max.split.size=256000000
//一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并)
set mapred.min.split.size.per.node=100000000
//执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
//设置map端输出进行合并，默认为true
set hive.merge.mapfiles = true
//设置reduce端输出进行合并，默认为false
set hive.merge.mapredfiles = true
//设置合并文件的大小，当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge
set hive.merge.size.per.task = 256*1000*1000
二、数据倾斜
三、并行执行
