20190812SPSS学习心得(一)

一、数据分析归类

结构化数据分析和测量数据分析

二、数据分析应用领域归类

小样本：小数据分析，用加号连接，市场调查，用SPSS工具

大样本：大数据分析，用乘除连接，银行或投行(SAS)，电商(python)

三、数据分析类型

1、流程化分析

1.1 明确需求，搭建业务框架

报告(运营报告，财报)，痛点研究，研究未来

1.2 建立统计关系，即Y的量化

精确Y，确定测量问题，转化为统计问题

1.3 变量X的选择

寻找归因问题，记住一个真理(所有数据分析适用)：跟业务相关的是重要的X，非业务的变量是不重要的X

1.4 做描述

大样本：研究行，即行分析

小样本：研究列，列分析

1.5 预分析

为建模做准备

1.6 建模

确定随机因素和确定因素

1.7 修正模型

为建模做准备

注：1.5、1.6、1.7三个步骤都是建模过程反复来回调优，大概调校十几层次

1.8 评估模型

小样本是用 $R^2$ 衡量(表示大约有百分之多少的数据在模型上)，大数据需要老板认可

需要把模型转化为领导能理解的信息，比如用钱来形容、用百分比形容、用图表达、用表表达(看起来像图)

价格心目表是把信息转化为钱的表达形式清单

1.9 应用

归因(分清主次因子，规则归因)和预测(老样本是內衍，新样本是外推)

1.10 可视化

把模型通过图或表的形式展现给其他人，特别是老板，让其能看明白

2、模块化分析

四、数据分析两大需求问题

客户型问题(PM数据挖掘)、优化问题(机器学习)

五、描述指标的解读

中位数/平均值：是大众表现

方差/标准差：是小众表现，数据分析重要关注指标

异常值：是小众中的小众表现，最大值和最小值

小数据分析建模依据是标准差和异常值；大数据分析关注指标是平均值和异常值

六、SPSS建立线性回归(LR)模型过程（图形-r-回归分析-ε -应用）

菜单中，上侧和左侧为最重要的信息

pre_1→ $\hat{y}$ （y的预测值）

ZPRED→ $\hat{y}$ （y预测值的标准化）

DEPENDNT→y

res_1→ε

ZRESID→ε（ε标准化）

ANOVA→方差分析(显著性＜0.05，表示y与X存在相关)

ANOV→均值分析

1、看图形——散点图，分析相关性、线性趋势、异常值

分开画Y与每个X散点图，即矩阵散点图，只要关注对角线上方的图即可。因为画图依据是重要的变量放在Y轴，即因变量或待分析变量；非重要的变量放在X轴，即自变量；

2、统计指标——r系数

$R^2=\frac{\sum_{ } (x_{i}- \bar{x})(y_{i}- \bar{y})}{(n-1)S_{x}S_{y}} =\frac{Cov(Y,X)}{S_{x}S_{y}}$ (Cov(Y,X) 是协方差，Cov(X,X)=X的方差)

r= $\sqrt { R^2 }$

$R^2=\frac{R}{T}$ ∈[0,1](测量模型：T=R+ε；结构模型：y= $β_{0}+β_{1}x+ε$ ;相当于R为 $β_{0}+β_{1}x$ )

$\frac{R}{ε}$ ~F分布，由P值判断是否可行

r系数作用：删除不相关变量(按delete快捷键)，X变量一般允许15个范围内，反映紧凑程度

3、回归分析

β值:SPSS中是未标准化系数B

$Z_{β}$ = $β \frac{S_{x}}{S_{y}}$ ，SPSS中是标准化系数beta, $Z_{β}(X_{i})>Z_{β}(X_{j})$ (i≠j)可以分析主次因子，说明 $Z_{i}$ 变量更重要，一般主因子占20%(主要给老板看的)，次因子占80%

$R^2$ 强调模型整体情况，观测是否线性相关，为0图形为圆，为1图形为线；一般地通过画椭圆来分辨。 $R^2$ 会随着变量数的增多，而单调递增；而调整 $R^2$ 不会这样，而是变量数达到一定数后会递减。所以，一般地，变量数小于6时，看下 $R^2$ 值；变量数大于8时，看调整 $R^2$ 。另看Δ $R^2$ = $\vert R^2 -调整R^2 \vert$ ，小于5%，拟合度可行，大于10%变量数出现冗余情况，需要删除部分变量。

4、ε 随机误分析，值最小为好，必须要检查

若确定因素与不确定因素相当时，说明模型不可用

ε 出现的情形：

①、+,-,+,-,...,+,-；均值为0 → 横截面数据会出现

②、+,+,+...,+；均值为+ → 时间序列数据会出现

③、-,-,-...,-；均值为- → 时间序列数据会出现

④、0,0,0...,0；均值为0 →不允许出现这种情形

因误差是永远存在，所以①、 ②、③三种情况是正常现象。

好的 ε 满足两个条件：

ε ~N(0, $σ^2$ )，来判断随机性，通过画直方图观测

Cov( $\hat{y}$ , ε )=0，来判断ε 中是否存在确定性，即发生内生性，通过画 ε- $\hat{y}$ 散点图观测，一般是Y轴为 ZRESID，X轴为 ZPRED。画出X轴和Y轴的平均值辅助线，同时画一条y=2或y=3的直线，用于分割出异常值，然后圈住异常值的点，点击转至个案进入数据视图模块并选中所有异常值所在行。一般解决内生性方法：小数据分析(即小样本)，对y取ln或找稳健模型或用ZSLS(两阶段最小二乘)；大数据分析直接寻找那个确定因素。

注：当残差出现各种问题时，优先处理主要问题，即消除最根本原因；然后处理优先级是内生性问题＞异常值＞其他问题。

另：广义线性回归 logy= $β_{0}+β_{1}X_{1}+β_{2}X_{2}+...+β_{p}X_{p}+ε$

5、归因及因果

因果满足必须存在时间先后性、必须存在相关性、必须存在因果论三个条件。

小数据分析一定是找归因；大数据分析无归因，找的是工具归因。规则归因主要强调最好或最差情况的条件是哪些，小数据用聚合分析和对应分析判断，大数据用贝叶斯和决策树判断

6、相关分析

小数据，关注相关性，判断因果；大数据寻找工具归因。相关分析工具：皮尔逊系数分析连续型数据的相关性、肯德尔系数分析有序数据的相关性、斯皮尔曼系数分析各种数据的相关性(含有缺失值会很方便)、卡方分析分类数据的相关性。大数据常用斯皮尔曼系数和卡方分析

7、SPSS描述信息查看

首先，看方差分析(ANOVA),是否存在相关性；

然后，看系数a,看哪些X与Y显著性相关； $\hat{y}$ =y的未标准化系数B+x1的未标准化系数B·x1+x12的未标准化系数B·x2+...; $Z_{\hat{y}}$ ==y的标准化系数beta+x1的标准化系数beta·x1+x12的标准化系数beta·x2+...

再看模型摘要，寻找拟合度最佳的。 $R^2$ 在[0.35,0.5)范围，拟合度比较好；在[0.5,0.7)范围，拟合度很好；在[0.7,0.96)范围，拟合度非常好；在[0.9,1]范围，可能过拟合，这个时候需要好好注意模型。