parquet格式的表在生产环境中经常被使用到，具有列式存储和压缩等特点，我们怎么在hive中存储parquet格式的表呢。
使用数据
这里使用oracle的emp表
7369,smith,clerk,7902,2010-12-17,800,,20
7499,allen,salesman,7698,2011-02-20,1600,300,30
7521,ward,salesman,7698,2011-02-22,1250,500,30
7566,jones,manager,7839,2011-04-02,2975,,20
7654,martin,salesman,7698,2011-09-28,1250,1400,30
7698,blake,manager,7839,2011-05-01,2850,,30
7782,clark,manager,7839,2011-06-09,2450,,10
7788,scott,analyst,7566,2017-07-13,3000,,20
7839,king,president,,2011-11-07,5000,,10
7844,turner,salesman,7698,2011-09-08,1500,0,30
7876,adams,clerk,7788,2017-07-13,1100,,20
7900,james,clerk,7698,2011-12-03,950,,30
7902,ford,analyst,7566,2011-12-03,3000,,20
7934,miller,clerk,7782,2012-01-23,1300,,10
创建parquet格式的表
CREATE TABLE emp (
empno int,
ename string,
job string,
mgr int,
hiredate DATE,
sal int,
comm int,
deptno int
)row format delimited fields terminated by ","
stored as PARQUET;
加载本地数据到hive表
load data local inpath '/home/zhou/data/emp.txt' into table emp;
执行查询
select * from emp;
发现报错
原因
emp使用parquet格式存储，其中imputFormat和outputFormat都是parquet的相关的，也就是我的imputFormat是parquent的，但是你传过来的是text，我不认识
我们看一下emp的相关信息,可以看到这里的都是parquet的format的，这是导致这次错误的原因。
desc formatted emp;
这就导致了我们需要每次都先把text文件转化为parquet的文件，然后parquent表进行加载才可以，下面介绍官方推荐的使用方法。
创建emp的临时表 emp_tmp,存储格式为普通的文本格式
CREATE TABLE emp_tmp (
empno int,
ename string,
job string,
mgr int,
hiredate DATE,
sal int,
comm int,
deptno int
)row format delimited fields terminated by ",";
查看emp_tmp的表的信息,这里可以看到，默认的是TextImputFormat和TextOutputFormat的。
desc formatted emp_tmp;
然后加载数据到emp_tmp,查看数据，是正常显示的
load data local inpath '/home/zhou/data/emp.txt' into table emp_tmp;
然后现在把之前的emp里面的数据给删除
truncate table emp;
然后把emp_tmp表里面的数据加载到emp
insert into table emp select * from emp_tmp;
查询一下，数据正常显示，这个方式使用起来还行，就是每次都需要对临时表进行操作，还是比较麻烦的。
Hive Parquet格式建表方式
感觉这个问题是经常出现，为什么会这样呢。这个和hive的版本有一定的关系。
hvie0.10-0.12
CREATE TABLE parquet_test (
id int,
str string,
mp MAP<STRING,STRING>,
lst ARRAY<STRING>,
strct STRUCT<A:STRING,B:STRING>)
PARTITIONED BY (part string)
ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
STORED AS
INPUTFORMAT 'parquet.hive.DeprecatedParquetInputFormat'
OUTPUTFORMAT 'parquet.hive.DeprecatedParquetOutputFormat';
hvie0.13及之后的版本
CREATE TABLE parquet_test (
id int,
str string,
mp MAP<STRING,STRING>,
lst ARRAY<STRING>,
strct STRUCT<A:STRING,B:STRING>)
PARTITIONED BY (part string)
STORED AS PARQUET;
可以看出hive官方将inputformat和outputformat进行了整合，这样使用起来也是比较方便的。
但是可能有人想，那我修改inputformat不就行了，下面我介绍一下，看是否可以
修改inputformat，来实现直接加载text文件到parquet表
创建emp2表,是parquet的存储格式的
CREATE TABLE emp2 (
empno int,
ename string,
job string,
mgr int,
hiredate DATE,
sal int,
comm int,
deptno int
)row format delimited fields terminated by ","
stored as PARQUET;
修改inputformat 和serde,这里inputFormat是TextInputFormat，SEDE使用的是LazySimpleSerDe，Outputformat任然是Parquet的，这里需要带上。
alter table emp2 SET FILEFORMAT INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
查看emp2表的信息,如下图表示修改成功
desc formatted emp2;
加载数据到emp2
load data local inpath '/home/zhou/data/emp.txt' into table emp2;
查询数据，执行成功
select * from emp2;
到这里，修改inputformat和serde的方法也介绍完成了，我们以为成功了，但是上hdfs上一看，文件还是txt格式的，所以通过修改inputformat和serde的方法不行。
修改inputformat，serde保持为parquet
肯定有人想使用这个方法
这个方法我也尝试了，但是返回的值全都是null
综上
在仅仅使用hive的时候，如果想把txt文件里面的数据保存到parquet表里面的话，可以使用建立临时表的方法，这个方法也是比较好操作的。
但是其实如果使用spark，flink等分布式计算引擎的话，是可以直接的读取txt数据保存到parquet表里面的，框架帮我们做了转化。这种方式也是我们在工作中经常使用的。
上面也介绍了修改inputformat和ser的方式，秀给inputformat是可以让txt文件里面的数据被读进来的，如果同时还修改了serde为lazysimpleserde的话，这个是把数据保存为text格式的，已经完全和parquet没有关系了，保存的文件还是txt格式的。仅修改inputformat，但是使用的serde是parquet的，但是数据进出不一致，也是有问题的。
