平台架构:
数据应用
- PMS/CMS/LMS/IMS
- 智能数据分析
- BIM展示/GIS展示/数字孪生技术应用
数据服务
- 数据检索
- 数据可视化(R语言)
- 数据模型管理
- 数据开放接口
- 数据编排
- 治理报告
数据管理
- 数据管理:数据权限管理、任务调度管理、数据监控管理、数据运维管理
- 数据访问:JDBC、SQL、API
- 数据分析:通用计算模型管理、深度学习模型管理、指标计算、算字库、知识库
- 数据治理:元数据管理、数据血缘管理、数据质量管理、数据稽查、数据安全
- 计算模型:MapReduce、图计算、流式计算、内存计算
数据采集
- 爬虫、数据填报、ETL
- 工具:FDI、MQS、API组件、LINK
- 数据队列:Kafka
- 结构化 数据、半结构化数据、非结构化数据、时序数据
数据存储
- RDB传统数据库
- Hadoop分布式
- MPP并行数据库
- TSDB时序数据库
- DocumentDB(跨区域数据库)
- 数据湖泊:MRS+DWS
主流的大数据处理系统架构
- NO.1
流式处理:Storm、S4、SEEP Dstream、Naiad、Spark、flink
数据查询:Pig、Hive、SharkMeteor、SCOPE、DryadLINQ
机器学习:Mahout、MLBase、SystemML、Presto
图像处理:Pregel、GraphLab Bagel、GraphX Giraph - NO.2 执行引擎
MapReduce、Dryad、Spark、Nephele/PACT、Hayracks Percolator - NO.3 资源管理
Apache Mesos、Hadoop YARN - NO.4 存储系统
分布式存储:HDFS、GFS
BigTable、Hbase、Dynamo Cassandra、MongoDB、Redis、Mysql、Voldemort