Hadoop离线数据分析平台实战——400用户浏览深度分析
项目进度
| 模块名称 | 完成情况 |
|---|---|
| 用户基本信息分析(MR)� | 完成 |
| 浏览器信息分析(MR) | 完成 |
| 地域信息分析(MR) | 完成 |
| 外链信息分析(MR) | 完成 |
| 用户浏览深度分析(Hive) | 未完成 |
| 订单分析(Hive) | 未完成 |
| 事件分析(Hive) | 未完成 |
模块介绍
用户浏览深度分析中，通过pv值来表示用户的浏览深度，
分别从两个不同的角度来展示浏览深度，分别为会话和用户。
会话是指，每个pv阶段对应的会话个数；
那么用户就是指每个pv阶段的用户个数。
hive的最终数据保存到hdfs的指定目录中，通过sqoop将数据导入到mysql中。
计算规则
计算pageview事件中，当前url的个数作为pv值，不涉及到去重操作。
最终数据保存：stats_view_depth。涉及到的所有列。
涉及到其他表有dimension_platform、dimension_date、dimension_kpi。
代码步骤
- hive中创建hbase对应的外部表
- hive脚步编写
- hive自定义函数定义
- sqoop脚步编写
- 测试
参考：transformer\hive\vd\statsViewDepth.hql
