1.大数据概览
大数据的用例
搜索排序
广告跟踪
位置与距离跟踪
因果关系发现
社会化客户关系管理(CRM)
文档相似性测试
基因分析
群组发现
飞机飞行状态
智能测量仪表
建立传感器
卫星图像分析
CAT扫描比较
金融账户欺诈检测与干预
计算机系统黑客检测与干预
在线游戏姿态跟踪
大型科学数据分析
通用名称值对分析
贷款风险分析及保单承保分析
客户流失分析
系统需要具备的能力
(1)方便处理PB(1000TB)据的能力。
(2)包含多达数千个分布的处理器,地理不同,且异构。
(3)以原始的获取格式存储数据,支持查询和分析应用而不需要转换或移动数据。
(4)以亚秒级响应时间响应高约束的标准SQL查询
(5)在处理请求中方便地嵌入复杂的用户自定义函数(User-Defined Function, UDF
(6)采用业界标准的过程语言来实现UDF.
7)组装跨多数或所有用例的可重用UDF扩展库。
(8)在几分钟内,以关系扫描方式对PB级别数据集执行用户自定义函数。
(9)支持范围广泛的数据类型包括越来越多的图像、波形、任意层次的数据结构以及名称值对集合。
(10)为数据分析高速加载数据,至少达到GB级别每秒。
(11)从多个数据源高速(GB/sec)加载数据以集成数据。
(12)在定义或发现其结构前加载数据至数据库。
(13)实现对加载数据的实时数据流分析查询。
(14)全速更新数据。
(15)不必预先聚类维度表和事实表,实现十亿级别的维度表与万亿级别事实表的连接。(16)调度和执行复杂的上百个节点的工作流。
(17)配置工作不会受到单点故障的影响。
(18)在节点发生错误时能够实现容错和不间断过程。
(19)支持极端的、混合的工作负载,包含数千个地理分布的在线用户和程序,同时执行即席查询和战略分析,以批处理和流处理方式加载数据。
扩展的RDBMS
HADOOP/MAPREDUCE
2.推荐的应用于大数据的最佳实践
大数据系统最佳实践
- 从业务需求出发选择构建数据仓库需要的数据源。
- 始终关注简化用户接口和改善性能。
- 从维度角度考虑问题:将世界划分为维度和事实。
- 以一致性维度集成不同的数据源。
- 利用缓慢变化维度跟踪时间变化。
- 使用持久性代理键确定所有维度。
面向大数据管理的最佳实践
围绕分析构建大数据的环境
加载、清洗、集成、用户接口
延迟构建遗留环境
从沙箱结果中构建
首先尝试从简单应用着手
面向大数据结构的最佳实践
规划数据管道
建立针对大数据的实时获取器
将大数据分析作为一个事实获取器,将数据移动到下一个缓存,这是一个非常好的想法。例如,非结构文本信息的分析可以产生大量数字化的、有趋向的情感度量,包括声音的共享、观众参与、会话到达、积极的倡导者、主张的影响、支持影响、分辨率、分辨时间、满意度、主题趋势、情感比例和观点影响等。
建立完整的生态系统
制定数据质量规划
尽可能提高数据质量的价值
实现前期缓存的回流
实现数据流
避免无法扩展的限制
将原型移动到私有云
尽力改善性能
监视计算资源
利用内置数据库分析
应用于大数据的数据建模最佳实践
维度思考
集成不同的包含一致性维度的数据源
使用持久性代理键定位维度
希望集成结构化和非结构化的数据
将大数据分析作为一个事实获取器,将数据移动到下一个缓存,这是一个非常好的想法。例如,非结构文本信息的分析可以产生大量数字化的、有趋向的情感度量,包括声音的共享、观众参与、会话到达、积极的倡导者、主张的影响、支持影响、分辨率、分辨时间、满意度、主题趋势、情感比例和观点影响等。
使用缓慢变化维
在分析时定义数据结构
以简单的名称-值对加载数据
利用数据虚拟化的快速原型
大数据的数据治理最佳实践
没有作为大数据治理这样的事情
应用治理前的数据维度化
隐私是最重要的数据治理
不要选择大数据治理
