智能时代

数据—人类建造文明的基石

使用数据的标准流程

数学模型：数据驱动方法的基础

在工程上，采用多而简单的模型常常比一个精确的模型成本更低，也被使用得更普遍.
只要数据量足够，就可以用若干个简单的模型取代一个复杂的模型。
这种方法被称为数据驱动方法。
数据驱动方法最大的优势在于，它可以在最大程度上利益于计算机技术的进步。

如果我们把资本和机械动能作为大航海时代以来全球近代化的推动力，那么数据将成为下一次技术革命和社会变革的核心动力。

大数据和机器智能

学术界将机器智能分为传统人工智能的方法和现代其他的方法（比如数据驱动、知识发现或者机器学习）

传统的人工智能方法是什么呢？
首先了解人类是如何产生智能的，然后让计算机按照人的思路去做。

机器智能等于大数据加深度学习
互联网的普及，产生了大量的数据，从而为机器学习提供了数据方面的基础支撑。
摩尔定律则保证了计算机算力的不断提升，从而为机器学习提供了运算方面的基础能力。

大数据产生的背景
全世界各个领域数据不断向外扩展，渐渐形成了另外一个特点，那就是很多数据开始出现交叉，各个维度的数据从点和线渐渐连成了网，或者说，数据之间的关联性极大地增强，在这样的背景下，就出现了大数据。

大数据的特征

1. 大数据最明显的特征是体量大，但仅仅是大量的数据并不一定是大数据。
2. 多维度。
3. 全面性或完备性。

在有大数据之前，计算机并不擅长解决需要人类智能来解决的问题，但是今天这些问题换个思路就可以解决了，其核心就是变智能问题为数据问题。

我们对大数据重要性的认识不应该停留在统计、改进产品和销售，或者提供决策的支持上，而应该看到它（和摩尔定律、数学模型一起）导致了机器智能的产生。
决定今后20年经济发展的是大数据和由之而来的智能革命。

思维的革命 — 什么是大数据思维？

在无法确定因果关系时，数据为我们提供了解决问题的新方法，数据中所包含的信息可以帮助我们消除不确定性，而数据之间的相关性在某种程度上可以取代原来的因果关系，帮助我们得到我们想知道的答案，这便是大数据思维的核心。

大数据的科学基础是信息论，它的本质就是利用信息消除不确定性 .

大数据与商业

在未来我们可以看到，大数据和机器智能的工具就如同水和电这样的资源，有专门的公司提供给全社会使用。
技术革命的规律：

1. 大部分现有产业加上新技术等于新产业。
2. 并非每一家公司都要从事新技术产品的制造，更多时候他们是利用新技术改造原有产业。
   大数据+现有产业=新的产业（AI）

大数据和智能革命的技术挑战

大数据的数据量大、维度多、数据完备等特点，使得它从收集开始，到存储和处理，再到应用，都与过去的数据方法有很大的不同。因此，使用好大数据也需要在技术和工程上采用与过去不同的方法。

1. 大数据形成的技术条件

• 大量数据的产生

1. 电脑本身
2. 传感器
3. 过去已经存在的、以非数字化形式存储的信息。
4. UGC
5. 摄像头
6. 可穿戴式设备
7. LBS
   存储的数据总量的增加是大数据兴起的重要条件之一。

• 存储技术的挑战

1. 大容量
2. 价格便宜
3. 读写速度快
   SSD的出现，标志着大数据所需的存储技术走向实用。

• 传输技术的突破

1. 3G
2. 4G
3. WIFI
4. 蓝牙
   主要是移动互联网的成熟，为数据的传输提供了必要的条件。

• 信息处理的挑战‘

1. 处理速度，也就是算力是基础。
2. 大数据多维度的特点 ，并行化非常困难。
3. 需要非常快的交换机和网络速度，否则网络就成为了瓶颈。

2002年之后，通过互联网、廉价服务器，以及比较成熟的并行计算工具，实现了大规模并行计算，大数据处理才成为可能。
大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。

2. 数据收集的难度

• 大数据与传统数据统计方法相比，在收集数据方面的不同点

1. 传统的数据方法通常是先有一个目的，然后开始收集数据；在大数据时代，在收集数据时常常没有这样预先设定的目标，还是先把所有能够收集到的数据收集起来，经过分析后，能够得到什么结论就是什么结论。
2. 传统的统计 方法收集样本，总结规律性；大数据常常以全集作为样本集。

聪明的公司会怎样解决收集数据的难题呢？
最常见的方法就是绕一个弯路，间接的收集数据，然后利用数据的相关性，导出自己所要知道的信息。
好的方法一定能够保证数据的全面性（完备性）和不变性。

3. 数据存储的压力和数据表示的难题

数据量增长的速度可能超过摩尔定律增长的速度，会高过存储设备发展的速度，越往后，他们之间的差距越大。因此，不能简单的依靠更多的生产和购买设备来解决数据存储的问题，而是需要技术解决方案来提高存储的效率，保证不断产生出来的数据都能够存得下。

• 节约存储设备的技术体现在两方面：

1. 存储同样的信息占用的空间小。
2. 数据不丢失、不损坏。
   信息存储除了节省存储量外，还需要研究怎样存储信息才便于使用。
   另一个难题就是如何标准化格式，以便共享。

4. 并行计算和实时处理：并非增加机器那么简单

在一般人想象中，增加10倍的处理器并行计算，可以同样成倍地节省时间，但是在工程上这是做不到的。

1. 任何一个问题总有一部分计算是无法并行的，这类计算占比越大，并行处理的效率越低。
   即使只有5%的计算不能并行，那么无论使用多少台服务器，实际的加速也不会超过20倍。
2. 另一个影响并行计算效率的因素在于无法保证每个小任务的计算量是相同的。
   最终的计算速度取决于最后完成的子任务。
   因此，并行计算的时间是远远做不到和服务器数量成反比。事实上，使用的处理器越多，并行计算的效率越低。
3. 大数据处理的另一个挑战是对实时性的要求。

要解决实时处理大数据的问题，就需要从根本上改变系统设计和算法，而不是增加机器那么简单。

未来智能化产业

现有产业+机器智能=新产业，未来的农业、制造业、体育、医疗、律师，甚至编辑记者行业都将迎来崭新形态，新产业将取代旧产业满足人类的修改化需求，大数据将导致我们整个社会的升级和变迁。

在技术革命时，固守旧产业是没有出路的。

智能革命和未来社会

在历次技术革命中，一个人、一家企业，甚至一个国家，可以选择的道路只有两条：要么加入浪潮，成为前2%的人，要么观望徘徊，被淘汰。

技术革命会使得很多产业消失，或者产业从业人员大量减少，释放出来的劳动力需要寻找出路。
这个时间有多长？
事实证明至少要一代人以上，因为我们必须承认一个并不愿意承认的事实，那就是被淘汰的产业的从业人员能够进入新行业中的其实非常少。

AI社会已经到来，我们应该怎么办？

加入智能革命的浪潮，用AI给现在的工作赋能！
任何一次技术革命，最初受益的都是发展它、使用它的人，而远离它、拒绝接受它的人，在很长的时间里都将是迷茫的一代。

GOOGLE开源技术：
1. 数据存储：FGS
2. 数据共享：Protocol Buffer
3. 并行计算：MapReduce,Hadoop
4. 实时处理：Dremel(Big table)