应该是第三次看《利用Python进行数据分析》这本书，经典就是经典。从内容的丰富性，实际的可操作性来看，如果想从事数据分析行业，特别是利用Python，此书真的是必读书籍。
本文主要是介绍几个重要的Python库：numpy、pandas、matplotlib、scikit-learn、statsmodels
为何利用Python进行数据分析
-
Python是解释性的脚本语言，快速编写小型程序、脚本实现自动化功能 -
Python在数据科学、交互式计算以及数据可视化等领域，应用普遍 - 很容易整合
C、C++等语言的代码 -
SAS或者R：进行研究、原型实现和测试；Java、C或者C++：大型生产环境。Python能够同时实现两种功能
Python是一种解释性语言，Python解释器通过一次执行一条语句来运行程序，效率低下
Numpy
Numpy是numerical python的缩写，是Python进行数值计算的基石，主要功能是提供多种数据结构、算法和Python数值计算涉及到的接口
- 快速、高效的多维数组对象
ndarray - 基于元素的数组计算或数组间数学操作函数
- 线性代数操作、傅里叶变换以及随机数生成等
- 成熟的
C语言API，允许Python扩展和本地的C代码访问Numpy的数据结构和计算设施 - 算法和库之间作为数据传递的数据容器
Pandas
Pandas的两个对象是和
。
- Series：一种一维标签数组对象
- Dataframe：实现表格化、面向列、使用行列标签的数据结构
Pandas将表格和关系型数据库的灵活操作能力与numpy的高性能数组计算能力相结合
- 提供索引函数：重组、切块、切片、聚合、子集
- 数据操作、预处理、清洗
- 集成时间序列函数功能
- 同时处理时间序列函数和非时间序列函数
pandas的最初目标是解决金融和商业分析问题，尤其擅长深度时间序列和处理商业进程中产生的时间索引数据
Matplotlib
用于制图和二维数据可视化的Python库
Scikit-learn
基于Python的，主要子模块是：
- 分类：SVM、最近邻、随机森林、逻辑回归等
- 回归：Lasso、岭回归等
- 聚类：k-means、谱聚类等
- 降维：PCA、特征选择、矩阵分解等
- 预处理：特征提取、正态化等
Statsmodels
Statsmodels是一个，主要是包含经典的统计学、经济学算法
- 回归模型：线性回归、通用线性模型、鲁棒线性模型等
- 方差分析ANOVA
- 时间序列分析：AR、ARMA、VAR模型等
- 非参数方法：核密度估计、核回归等
- 统计模型可视化
statmodels更加专注于统计推理，提供不确定性评价和p值参数；scikit-learn更专注于预测
Jupyter notebook
tab键和问号？
jupyter notebook是一种交互式的文档类型，用于编写代码、文本、数据可视化及其输出等
- tab键补全：默认隐藏以下划线开始的方法和属性（魔术方法、内部的私有属性和方法）
- 内省：在一个变量的后面使用问号？，可以查看该对象的信息
- 双问号？？：显示函数的源代码
问号？还可以当做通配符使用。通配符主要是有两个：星号*和问号？
- 星号*可以代表任意字符串
- 问号？只能代表单个字符串，并且该字符串必须存在
%run
如果写了一个Python的脚本文件，即.py文件，可以通过%run来运行
假设创建了个test.py的文件：
def f(x,y,z):
return (x+y)/z
a = 5
b = 6
c = 7
result = f(a,b,c)
运行如下：
%run test.py
如果想让脚本使用交互式环境中已有的变量，使用%run -i代替%run命令
%load
通过%load将脚本文件导入一个代码单元中
%load test.py
中断代码
中断代码使用ctrl+C
粘贴代码
%paste：获得剪贴板中的所有代码，在命令行中作为一个代码块直接运行
%cpaste：给出一个提示符，提示：粘贴代码；如果代码出错，可以通过ctrl+C直接中断
运行时间
通过%timeit来检查Python代码运行时间
魔术命令
凡是以%开始的都是魔术命令magic command
- 自动魔术：魔术命令也可以不加%百分号直接使用，只要变量没有被定义为与魔术函数相同的名字即可，这种特性称之为自动魔术，通过%automagic进行启用/禁用关。
- 魔术命令的输出可以赋值给一个变量
- 通过%quickref和%magic来查看特殊命令
快捷键
