DWB层实现 还有 hive 优化 和 数据倾斜问题 1.DWB层开始按主题划分，日（天）统计宽表，轻度提前聚合操作 解释:轻度提前聚合说的是先...

DWD实现:纬度退化操作（退维） 本项目老师给我们讲三大宽表 订单明细表宽 主表:订单事实表（拉链表） 1.订单组表 2.订单组支付信息表 3....

渐变纬 拉链表的设计 dwd层的搭建_三导入方式 全量导入，循环和拉链导入，全量覆盖导入 重点，讲的拉链表。 hive的相关配置导入。

数仓分层设计 ODS层 元数据层 DWD层 细分数据层（数据的转化和清洗） DWB层 数据降纬 出明细宽表，作为中间数据使用 DWS层 按照主题...

今天 sqoop 讲完了 sqoop 的安装 从关系型数据库导入到HDFS mysql数据导入hive orc压缩格式用 hcatalog ap...

今天第一天，老师讲了大数据框架 Lambda架构 离线走离线 实时走实时 还有kappa架构 流批一体架构（未来主流） 还有一些大数据环境的工具...

第四天 对MySQL库的数据进行采集，筛选去除脏数据。 第五天 采集后台日志数据 模拟后台日志数据， 1.读取文件 2.从MySQL元数据库中查...

因为线上原因四天课加了一天。 今日总结 完成字符串工具的编写和单元测试 完成时间工具的编写及单元测试 对老师编写的模型理解和解读 完整主业务逻辑...

编写MySQL工具类 编写查询MySQL那些文件被处理的记录方法 查询对比两个列表，找出没有被用的工具方法