Hadoop离线数据分析平台实战——440DataApi后台架构搭建

Hadoop离线数据分析平台实战——440DataApi后台架构搭建

项目进度

模块名称 完成情况
1. 程序后台框架搭建 未完成
2. 用户基本信息展示 未完成
3. 浏览器信息展示 未完成
4. 地域信息展示 未完成
5. 外链信息展示 未完成
6. 用户浏览深度展示 未完成
7. 事件数据展示 未完成
8. 订单数据展示 未完成

后台程序结构总体介绍

我们采用提供两个相关的rest api来提供所有的数据的访问,
rest api返回的结果为json数据格式,
通过定义不同的bucket和metric来区别不同的api,
然后通过api的不同分别获取不同的参数(dimension)。
除此之外,我们还需要一个获取维度信息的rest api接口来方便获取相关维度信息。

Service层我们采用一个单独的service来处理所有普通的,
没有特殊要求的api请求,通过mybatis完成和mysql数据库的交互,
其中api对应的mybatis执行namespace(执行sql的定位信息)保存到spring的配置文件中。
针对特殊的api,我们可以提供一种单独的自定义service来进行处理。
如果针对从数据库中获取的数据需要进行计算,那么在service获取mysql的数据之后,会进行处理操作。

涉及到的类及其作用

我们采用AE(analytic engine)简称我们的dataapi项目。
文件及其作用:
AEConstants: 常量类
AEController: 主要提供获取数据的api接口,继承自BaseController类。
DimensionController: 提供dimension相关api接口的controller类,继承BaseController类。
AEService: 提供数据获取的service接口,默认实现未AEServiceImpl。
DimensionService: 提供获取dimension相关的接口。
AEDao: 处理操作mysql的接口(基本), 继承自BaseDao类。
xxxDimensionDao: 处理具体Dimension相关的和数据的dao类。
xxxDimension: model/vo类
xxxUtil: 工具类
xxxMapper.xml:mybatis的sql文件
ae-beans.xml: spring bean配置文件,主要作用是配置自定义service、dao相关bean以及数据库连接池。
aeConfigContext.xml: spring的主要配置文件,主要配置api的参数信息以及api和mybatis映射关系。
log4j.properties: 日志打印信息。
jdbc.properties: 数据库连接信息。
web.xml: web配置信息。

编码步骤

  1. 编写Controller
  2. 编写Service
  3. 编写Dao
  4. 测试
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1. 简介 1.1 什么是 MyBatis ? MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的...
    笨鸟慢飞阅读 5,694评论 0 4
  • 前言 本篇将完成DAO层的设计与开发,包括: 数据库、DAO实体与接口设计与编码 基于MyBatis实现DAO编程...
    MOVE1925阅读 1,393评论 0 4
  • 一步一步的搭建JAVA WEB项目,采用Maven构建,基于MYBatis+Spring+Spring MVC+B...
    叶子的翅膀阅读 12,744评论 5 25
  • Spring 技术笔记Day 1 预热知识一、 基本术语Blob类型,二进制对象Object Graph:对象图...
    OchardBird阅读 1,005评论 0 2
  • 一. Java基础部分.................................................
    wy_sure阅读 3,839评论 0 11