注：这节没什么内容哈，各位同学过一眼就可以了。
目录
1.NumPy, SciPy, 和 pandas
2.在向量中思考：如何高效地处理大型数据集
1.NumPy, SciPy, and pandas
Python是一种流行的机器学习编程语言。除了是一个非常好用的语言之外，Python还是非常受欢迎的，因为许多最好的机器学习库都是为它编写的。对于这个类，我们将使用其中三个库。首先，我们将使用NumPy。 NumPy是一个库，允许您高效地加载和处理大型数据集和内存。它是免费的，开源的，在硅谷的许多商业系统中被广泛使用。这是许多其他机器学习库建立的基础。接下来，我们将使用SciPy。
SciPy提供了许多基本的科学计算功能。我们将使用其数值优化功能来帮助计算用户的推荐产品。
最后，我们也会用pandas。pandas可以让您将您的数据表示为一个虚拟电子表格。它提供了许多与Microsoft Excel中相同的功能，用于快速编辑数据和执行计算。这使得处理数据存储和CSV文件变得非常简单。名称pandas来自术语面板数据，因为它将数据表示为一系列面板或电子表格页面。
它也是免费的，开源的，并被广泛使用。最好的部分是所有这些库完美地结合在一起。 SciPy提供了基本的数值优化程序，NumPy让我们可以高效地加载和使用我们的数据集，pandas给了我们额外的功能，使我们的数据集计算变得简单。
2.在向量中思考：如何高效地处理大型数据集
在机器学习中，我们经常使用大数据数组。由于机器学习的线性代数根(linear algebra roots)，这些数组有时被称为单个数据列的向量和较大数组的向量。让我们看看如何在代码中使用向量。让我们打开vecotors pt1.py。
这里有一个简单的数组，或者向量，表示训练数据集中每套房的面积。当我们训练机器学习算法时，我们经常需要在训练数据集中的每一行应用相同的数学运算。例如，假设我们要将每个面积乘以0.3的权重。
完成这个事情最高效的方法是什么？在传统的编程中，标准的解决方案是每次一行遍历数组，一个for循环搞定。让我们运行代码并检查输出。在控制台中，我们可以看到它在得到最终结果之前对数组进行了13次独立的更新。这样做是没毛病的，但每次在数组中一个元素上对每个元素进行乘法实际上效率很低。如今的CPU有能力并行批量操作。
这种能力称为单指令、多数据或SIMD。而不是一次一个地遍历每个数组元素，CPU可以将数组块加载到内存中，并在一步中完成该块上的所有乘法操作。这在处理大型数组时速度会产生巨大的差异。让我们来看看代码vecotors pt2.py。
我们不使用循环来处理数组，而是使用一个数组库，它知道如何并行处理数据。NumPy可以在内存中非常高效地创建数组, 然后会自动并行化。
因此，我们不使用for循环，我们的代码看起来如下所示。
首先我们创建的数组作为NumPy数组而不是作为一个正常的Python数组。然后我们会将整个数组乘以0.3。当我们告诉NumPy要把一个数组乘以一个单个的数字时，NumPy会将此操作分别应用于数组中的每一个元素。让我们来运行代码看看效果。
哪种方法更高效?相信群众的眼睛是雪亮的。
但更重要的是，NumPy自动利用CPU的SIMD功能，增加并联阵列块。我们得到与使用for循环相同的结果，但我们不需要经历这么多步骤。你在阵列上需要做的大部分操作都可以并行完成。这包括简单的操作比如加法，减法，乘法，和除法，甚至更复杂的操作，如正弦和余弦。这就是所谓的矢量化我们的代码。我们用可并行执行的向量操作代替迭代循环。这是非常重要的一点。
如果你发现自己为数组写了一个for循环，那么你可能out了。相反，你应该使用numpy来操作整个数组。
结语
如有错误请高手指正.
你的 关注-收藏-转发 是我继续分享的动力!
