本文主要介绍protobuf反射的功能,其中部分内容转载至https://blog.csdn.net/chary8088/article/details/52876674[h...
IP属地:香港
本文主要介绍protobuf反射的功能,其中部分内容转载至https://blog.csdn.net/chary8088/article/details/52876674[h...
1. 日志文件加载案例: 需求描述:在日志文件目录中,按天建文件夹,并且在每个天文件夹中,每小时有一个日志文件。程序自动每天将这些文件load到hive表对应的天分区的小时分...
欢迎关注我的微信公众号:FunnyBigData 在《Spark 内存管理的前世今生(上)》中,我们介绍了 UnifiedMemoryManager 是如何管理内存的。然而,...
1. mapreduce程序介绍: mapreduce是Google提出的一种计算框架。框架处理key、value对;数据处理过程中数据流向格式。 mapreduce程序开发...
ORC是RCfile的优化版本 1. 关于hive的文件格式 TEXTFILE默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文...
“麒麟出没,必有祥瑞。”—— 中国古谚语 前言 随着移动互联网、物联网等技术的发展,近些年人类所积累的数据正在呈爆炸式的增长,大数据时代已经来临。但是海量数据的收集只是大数据...