《大数据分析-决胜互联网时代》学习摘要

第一层面是理论,理论是认知的必经途径。从大数据的特征定义理解行业对大数据的整体描绘和定性;从商业分析提出企业分析应用的框架来做出更好的决策;大数据行业的各种角色以及拥有的技能,定义了数据科学家的发展方向;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基础。书中分别从云计算、分布式处理技术、可视化技术以及其它新兴技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。书中分别从市场营销、金融服务、健康医疗和广告行业来描绘大数据已经展现的美好景象以及即将实现的蓝图。

大数据相关理论

1、特征定义

Edd DumbIl对大数据的定义是:“大到不能使用传统的方法进行处理的数据”,但大数据不仅仅是指数据的“大”,真正的问题是“大数据的可用性”。

业界用三个维度来定义大数据的特征-3V(量Volume,多样Variety,速度Velocity),其中最后一点是大数据分析和传统数据挖掘有着本质的不同。

2、商业分析

提出企业内部应用数据分析框架步骤以更好地帮助企业取得决策效果

1)描述性分析:回答“我们的商业活动中发生了什么”,这种方法利用数据和信息通过对趋势、模式以及明显的异常点的观察来描述最近企业的商业状况。

2)好奇性分析:回答“为什么会发生这样的事”,这是一种通过研究数据来验证/否决商业假设的分析方法。

3)预测性分析:回答“未来会发生什么”,通过数据建模来判定未来发生事件的可能性

4)规范性分析:回答“接下来该做什么”。

3、大数据行业角色

数据科学家技能图:

4、大数据隐私

全球隐私保护7条原则如下:

1)知晓权(透明性):应该通知本人关于所收集信息的目的。

2)选择权:提供机会选择(或放弃)所提供的个人信息是否被使用或如何被使用

3)同意权:在符合知晓权和选择权的情况下才可以向第三方透露个人数据信息

4)安全权:采取措施保护个人信息免受丢失、滥用、未授权获取、泄露、篡改、毁坏的威胁。

5)数据完整性:确保个人信息在最终用途、合理防护方面的可靠性,确保信息精确、完整、无误。

6)可查询:提供本人查询个人信息数据的途径。

7)责任性:企业有责任遵守上述原则,并应确保合规的机制。

大数据相关技术

1、云计算

云计算和大数据的结合可以提供更多基于海量业务数据的创新型服务;通过云计算技术的不断发展降低大数据业务的创新成本。

2、分布式处理

大数据处理代表-Hadoop,它是一个用于存储和处理多元海量数据的开源平台。

Hadoop的构成,Hadoop=HDFS(文件系统)+MapReduce(数据处理)+HBase(数据库) +……Others

3、可视化技术

较与传统报表工具提出了快速BI的概念,通过“自服务手段”并快速呈现动态而直观的方式进行交互式数据探索、研究发现。类似的可视化软件有Tableau、Qlonk Tech。

4、新兴技术

SSD-高性能低延迟的大数据分析处理的主流存储技术

GPU-高密集图形处理的计算分析技术

大数据相关实践

1、市场营销企业通过大数据分析达到销售活动管理、目标细分市场营销以及市场篮子分析的目的。

2、金融服务:风控是金融服务的核心竞争力,利用大数据建立企业信用风险框架是为了更好的促进最大收益为目标的一种风险管理方法。典型信用风险框架图如下:

3、健康医疗大数据将确保健康医疗领域从慢性疾病管理到面向个人量身定制化医药的重大革新,会形成从主观经验主义到基于客观数据驱动的新型科学。

4、广大数据改变了广告的商业模式,通过实时测量数据迅速调整策略来提高目标受众的到达率和降低展示频率。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,194评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,058评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,780评论 0 346
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,388评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,430评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,764评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,907评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,679评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,122评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,459评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,605评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,270评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,867评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,734评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,961评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,297评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,472评论 2 348

推荐阅读更多精彩内容