PCA只对符合高斯分布的样本点比较有效
ICA对于高斯分布的样本点无效，对于其他分布的有效。

回顾我们之前介绍的《模型选择和规则化》，里面谈到的特征选择的问题。但在那篇中要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关，使用的是互信息的方法。

这里的，是想把与类标签有关的，但是相似的特征组成一个好的。比如在语义分析中，learn和study是类似的，出现的频率也类似，能不能合为一个特征呢？

而这里的特征很多是和类标签有关的，但里面存在噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。

PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主元，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。也达到了降维的目的。

一、PCA步骤

1、数据处理，求均值，相减，替换，求方差，替换

这里第一步数据处理的意义，就是想让投影后的样例之间，均值为 0。
第二步数据处理的意义就是归一化了，比如样例中，一个特征是汽车速度，一个特征是汽车座位数，显然第二个方差比第一个小。这样协方差矩阵中的值会受到影响。
所以需要归一化。

2、求特征协方差矩阵

3、求协方差矩阵的特征值和特征向量

4、将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。

上面的如果k=1，那么只会留下这里的水平轴，轴上是所有点在该轴的投影。

5、将样本点投影到选取的特征向量上。

假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(mn)，协方差矩阵是nn，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为

----------------------------------------------------------------------------------------
这样，就将原始样例的n维特征变成了k维，这k维就是原始特征在k维上的投影。
----------------------------------------------------------------------------------------

理论基础

参考Jerrylead图。

在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。如前面的图，样本在横轴上的投影方差较大，在纵轴上的投影方差较小，那么认为纵轴上的投影是由噪声引起的。

因此我们认为，最好的k维特征是将n维样本点转换为k维后，每一维上的样本方差都很大。

我们要找到一个最佳的u，使得样例的特征x在u上投影后，方差最大。经过来回化简（参考讲义），我们得到

λ即作为特征值，又作为特征点投影后的方差。

根据上面，我们想要得到一个最佳的u，使得投影后的方差最大。那么也就是说，上式中，λ最大时（也就是方差最大时）的u即为所求。

此时，u是协方差矩阵的特征值λ对应的特征向量。解答完毕。

------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------

二、ICA步骤

1、问题 经典的鸡尾酒宴会问题

s是人发出的信号，x是得到的一组数据，A是一个未知的混合矩阵，用来叠加信号s。于是有

这里x⁽ⁱ⁾的每个分量都是由s⁽ⁱ⁾的分量线性表示。A和s都是未知的，x是已知的，我们要想办法根据x来推出s。这个过程也称作为盲信号分离。

先表达出每个信号源s⁽ⁱ⁾（即我们最终想要得到的每个人说话的声音）：

2、ICA的不确定性

从上面可知，我们只知道一个x，其余两个变量w和s都是不知道的。在没有先验知识的情况下，是无法同时确定这两个相关参数的。

还有，在已知先验知识的情况下，如果信号服从高斯分布，根据推断，也是不能确定原信号的。

那么，我们就给s假设出一个合理的分布，这样，就可以求得p（x）

知道了p(s），x也已经有，和概率有关，在给定采样后的训练样本以后，做对数似然估计，可得到

对W求导，就可得到w的迭代公式。

迭代求出W后，便可以用s=Wx来还原出原始信号。

------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------

ICA和PCA的对比

PCA主成分分析==>主要的k个特征
ICA独立成分分析==>独立的信号

ICA是盲信号分析领域的一个强有力方法，也是求非高斯分布数据隐含因子的方法。
从之前我们熟悉的样本-特征角度看，我们使用ICA的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数，我们要求的是隐含因子。

而PCA认为特征是由k个正交的特征（也可看作是隐含因子）生成的，我们要求的是数据在新特征上的投影。

同是因子分析，一个用来更适合用来还原信号（因为信号比较有规律，经常不是高斯分布的），一个更适合用来降维（用那么多特征干嘛，k个正交的即可）。有时候也需要组合两者一起使用。

3、线性判别分析（LDA）

PCA降维没有将类别标签考虑进去，属于无监督的。
而LDA降维，将类别标签考虑了进去，使得投影后的不同类样本点越分开越好（不同类的中心点距离越大越好），同类的越聚集越好（散列度越小越好）。

LDA效果：将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。

PCA与LDA的降维对比

PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。