机器学习实战-利用SVD简化数据

利用SVD（Singular Value Decomposition），即奇异值分解，我们可以用更小的数据集来表示原始数据集。这样做，其实是去除了噪声和冗余信息。

奇异值分解
优点：简化数据，去除噪声，提高算法的结果
缺点：数据的转化可能难以理解
使用数据类型：数值型数据

最早的SVD应用之一就是信息检索，我们称利用SVD的方法为隐性语义索引（Latent Semantic Indexing，LSI），或隐性语义分析（Latent Semantic Analysis，LSA）。
SVD的另一个应用就是推荐系统。利用SVD可以从数据中构建一个主题空间，如果再在该空间下计算其相似度。
SVD是矩阵分解的一种类型，而矩阵分解是将数据矩阵分解为多个独立部分的过程。
NumPy中有一个称为linalg的线性代数工具箱。

In [94]: from numpy import *

In [95]: U, Sigma,VT = linalg.svd([[1,1],[7,7]])

In [96]: U
Out[96]: 
array([[-0.14142136, -0.98994949],
       [-0.98994949,  0.14142136]])

In [97]: Sigma
Out[97]: array([  1.00000000e+01,   2.82797782e-16])

In [98]: VT
Out[98]: 
array([[-0.70710678, -0.70710678],
       [ 0.70710678, -0.70710678]])

Sigma以行向量array（[10.，0.]）返回，而非[[10,0],[0,0]]。这种返回方式节省空间。

建立一个新文件svdRec.py：

def loadExData():
    return[[1, 1, 1, 0, 0],
           [2, 2, 2, 0, 0],
           [1, 1, 1, 0, 0],
           [5, 5, 5, 0, 0],
           [1, 1, 0, 0, 0],
           [0, 0, 0, 3, 3],
           [0, 0, 0, 1, 1]]

接下来对该矩阵进行SVD分解：

In [17]: import svdRec
    ...: Data = svdRec.loadExData()
    ...: U, Sigma,VT = linalg.svd(Data)
    ...: Sigma
    ...: 
Out[17]: 
array([  9.71302333e+00,   4.47213595e+00,   8.10664981e-01,
         1.62982155e-15,   8.33719667e-17])

因为最后两个数太小了，我们可以去掉。
我们试图重新构造原始矩阵，首先构建一个3x3的矩阵Sig3，因而我们只需要前三行和前三列：

In [18]: Sig3 = mat([[Sigma[0],0,0],[0,Sigma[1],0],[0,0,Sigma[2]]])
    ...: U[:,:3]*Sig3*VT[:3,:]
    ...: 
Out[18]: 
matrix([[  1.00000000e+00,   1.00000000e+00,   1.00000000e+00,
          -7.70210327e-33,  -7.70210327e-33],
        [  2.00000000e+00,   2.00000000e+00,   2.00000000e+00,
          -4.60081159e-17,  -4.60081159e-17],
        [  1.00000000e+00,   1.00000000e+00,   1.00000000e+00,
          -1.23532915e-17,  -1.23532915e-17],
        ..., 
        [  1.00000000e+00,   1.00000000e+00,   4.53492652e-16,
          -5.59432048e-34,  -5.59432048e-34],
        [  0.00000000e+00,   0.00000000e+00,   0.00000000e+00,
           3.00000000e+00,   3.00000000e+00],
        [  0.00000000e+00,   0.00000000e+00,   0.00000000e+00,
           1.00000000e+00,   1.00000000e+00]])

确定要保留的奇异值的数目有很多启发式的策略，其中一个典型的做法就是保留矩阵中90%的能量。为了计算总能量信息，我们将所有的奇异值求其平方和。于是可以将奇异值的平方和累加到总之的90%为止。另一个启发式策略就是，当矩阵上有上万的奇异值时，那么就保留钱2000~3000个。
下面开始研究相似度的计算：（上文矩阵出错，后文已更正）

from numpy import *
from numpy import linalg as la
    
def ecludSim(inA,inB):#欧氏距离
    return 1.0/(1.0 + la.norm(inA - inB))

def pearsSim(inA,inB):#皮尔逊指数
    if len(inA) < 3 : return 1.0#不存在，则两个向量完全相关
    return 0.5+0.5*corrcoef(inA, inB, rowvar = 0)[0][1]

def cosSim(inA,inB):#余弦相似度
    num = float(inA.T*inB)
    denom = la.norm(inA)*la.norm(inB)
    return 0.5+0.5*(num/denom)

下面我们将对上述函数进行尝试：

In [9]: import svdRec
   ...: myMat = mat(svdRec.loadExData())
   ...: svdRec.ecludSim(myMat[:,0],myMat[:,4])
   ...: 
Out[9]: 0.13367660240019172

In [10]: svdRec.ecludSim(myMat[:,0],myMat[:,0])
Out[10]: 1.0

In [11]: svdRec.cosSim(myMat[:,0],myMat[:,4])
Out[11]: 0.54724555912615336

In [12]: svdRec.cosSim(myMat[:,0],myMat[:,0])
Out[12]: 0.99999999999999989

In [13]: svdRec.pearsSim(myMat[:,0],myMat[:,4])
Out[13]: 0.23768619407595815

In [14]: svdRec.pearsSim(myMat[:,0],myMat[:,0])
Out[14]: 1.0

这里采用列向量的表示方法，暗示着我们将利用基于物品的相似度计算方法。使用哪一种相似度，取决于用户或者物品的数目。
如何对推荐引擎进行评价呢？具体的做法是我们将某些已知的评分去掉，如何对他们进行预测，最后计算预测值和真实值的差异。
通常用于推荐引擎评价的指标是称为最小均方误差（Root Mean Squared，RMSE）的指标，他首先计算均方误差的平均值，然后取其平方根。
接下来我们尝试一个物品相似度推荐引擎：

def standEst(dataMat, user, simMeas, item):#给定相似度计算方法的条件下，计算用户对物品的估计评分制
    n = shape(dataMat)[1]#物品数目
    simTotal = 0.0; ratSimTotal = 0.0
    for j in range(n):
        userRating = dataMat[user,j]
        if userRating == 0: continue#没有评分，跳过
        overLap = nonzero(logical_and(dataMat[:,item].A>0,dataMat[:,j].A>0))[0]#寻找两个用户已经评分的物品
        if len(overLap) == 0: similarity = 0
        else: similarity = simMeas(dataMat[overLap,item],dataMat[overLap,j])
        print 'the %d and %d similarity is: %f' % (item, j, similarity)
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    else: return ratSimTotal/simTotal
    
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
    unratedItems = nonzero(dataMat[user,:].A==0)[1]#没有评分的物品
    if len(unratedItems) == 0: return 'you rated everything'
    itemScores = []
    for item in unratedItems:
        estimatedScore = estMethod(dataMat, user, simMeas, item)
        itemScores.append((item, estimatedScore))
    #sorted排序函数，key 是按照关键字排序，lambda是隐函数，固定写法，
    #jj表示待排序元祖，jj[1]按照jj的第二列排序，reverse=True，降序；[:N]前N个
    return sorted(itemScores, key=lambda jj: jj[1], reverse=True)[:N]

接下来看看他的实际效果，首先对前面给出的矩阵稍加修改：

def loadExData():
    return[[0, 0, 0, 2, 2],
           [0, 0, 0, 3, 3],
           [0, 0, 0, 1, 1],
           [1, 1, 1, 0, 0],
           [2, 2, 2, 0, 0],
           [5, 5, 5, 0, 0],
           [1, 1, 1, 0, 0]]

In [20]: import svdRec
    ...: myMat = mat(svdRec.loadExData())
    ...: myMat[0,1]=myMat[0,0]=myMat[1,0]=myMat[2,0]=4
    ...: myMat[3,3]=2
    ...: 

In [21]: myMat
Out[21]: 
matrix([[4, 4, 0, 2, 2],
        [4, 0, 0, 3, 3],
        [4, 0, 0, 1, 1],
        ..., 
        [2, 2, 2, 0, 0],
        [5, 5, 5, 0, 0],
        [1, 1, 1, 0, 0]])

我们先尝试做一些推荐：

In [22]: svdRec.recommend(myMat,2)
the 1 and 0 similarity is: 1.000000
the 1 and 3 similarity is: 0.928746
the 1 and 4 similarity is: 1.000000
the 2 and 0 similarity is: 1.000000
the 2 and 3 similarity is: 1.000000
the 2 and 4 similarity is: 0.000000
Out[22]: [(2, 2.5), (1, 2.0243290220056256)]

下面利用其他相似度计算方法：

In [24]: svdRec.recommend(myMat,2,simMeas=svdRec.ecludSim)
the 1 and 0 similarity is: 1.000000
the 1 and 3 similarity is: 0.309017
the 1 and 4 similarity is: 0.333333
the 2 and 0 similarity is: 1.000000
the 2 and 3 similarity is: 0.500000
the 2 and 4 similarity is: 0.000000
Out[24]: [(2, 3.0), (1, 2.8266504712098603)]

In [25]: svdRec.recommend(myMat,2,simMeas=svdRec.pearsSim)
the 1 and 0 similarity is: 1.000000
the 1 and 3 similarity is: 1.000000
the 1 and 4 similarity is: 1.000000
the 2 and 0 similarity is: 1.000000
the 2 and 3 similarity is: 1.000000
the 2 and 4 similarity is: 0.000000
Out[25]: [(2, 2.5), (1, 2.0)]

实际的数据集会比我们用于展示recommend()函数功能的myMat矩阵稀疏得多。我们载入新的矩阵：

def loadExData2():
    return[[2, 0, 0, 4, 4, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5],
           [0, 0, 0, 0, 0, 0, 0, 1, 0, 4, 0],
           [3, 3, 4, 0, 3, 0, 0, 2, 2, 0, 0],
           [5, 5, 5, 0, 0, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
           [4, 0, 4, 0, 0, 0, 0, 0, 0, 0, 5],
           [0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 4],
           [0, 0, 0, 0, 0, 0, 5, 0, 0, 5, 0],
           [0, 0, 0, 3, 0, 0, 0, 0, 4, 5, 0],
           [1, 1, 2, 1, 1, 2, 1, 0, 4, 5, 0]]

下面我们计算该矩阵的SVD来了解其到底需要但是维特征：

In [39]: import svdRec
    ...: from numpy import linalg as la
    ...: U, Sigma, VT = la.svd(mat(svdRec.loadExData2()))
    ...: Sigma
    ...: 
Out[39]: 
array([  1.34342819e+01,   1.18190832e+01,   8.20176076e+00, ...,
         2.08702082e+00,   7.08715931e-01,   1.90990329e-16])

接下来我们看看到底有多少个奇异值能达到总能量的90%。首先对Sigma中的值求平方：

In [40]: Sig2=Sigma**2

In [41]: Sig2
Out[41]: 
array([  1.80479931e+02,   1.39690727e+02,   6.72688795e+01, ...,
         4.35565591e+00,   5.02278271e-01,   3.64773057e-32])

In [42]: sum(Sig2)
Out[42]: 497.0

In [43]: sum(Sig2)*0.9
Out[43]: 447.30000000000001

In [44]: sum(Sig2[:2])
Out[44]: 320.17065834028847

In [45]: sum(Sig2[:3])
Out[45]: 387.43953785565782

In [46]: sum(Sig2[:4])
Out[46]: 434.62441339532074

In [47]: sum(Sig2[:5])
Out[47]: 462.61518152879415

所以可以使用11维矩阵转化成一个5维矩阵。
下面对转化后的空间构造出一个相似度计算函数。我们利用SVD将所有的菜肴映射到一个低维空间去：

def svdEst(dataMat, user, simMeas, item):
    n = shape(dataMat)[1]
    simTotal = 0.0; ratSimTotal = 0.0
    U,Sigma,VT = la.svd(dataMat)
    Sig4 = mat(eye(4)*Sigma[:4]) 
    xformedItems = dataMat.T * U[:,:4] * Sig4.I
    for j in range(n):
        userRating = dataMat[user,j]
        if userRating == 0 or j==item: continue
        similarity = simMeas(xformedItems[item,:].T, xformedItems[j,:].T)
        print 'the %d and %d similarity is: %f' % (item, j, similarity)
        simTotal += similarity
        ratSimTotal += similarity * userRating
    if simTotal == 0: return 0
    else: return ratSimTotal/simTotal

然后我们看看效果：

In [61]: myMat = mat(svdRec.loadExData2())

In [62]: svdRec.recommend(myMat, 1, estMethod=svdRec.svdEst)
the 0 and 10 similarity is: 0.584526
the 1 and 10 similarity is: 0.342595
the 2 and 10 similarity is: 0.553617
the 3 and 10 similarity is: 0.509334
the 4 and 10 similarity is: 0.478823
the 5 and 10 similarity is: 0.842470
the 6 and 10 similarity is: 0.512666
the 7 and 10 similarity is: 0.320211
the 8 and 10 similarity is: 0.456105
the 9 and 10 similarity is: 0.489873
Out[62]: [(8, 5.0000000000000009), (0, 5.0), (1, 5.0)]

下面尝试另外一种相似度计算方法：

In [63]: svdRec.recommend(myMat, 1, estMethod=svdRec.svdEst, simMeas=svdRec.pearsSim)
the 0 and 10 similarity is: 0.602364
the 1 and 10 similarity is: 0.303884
the 2 and 10 similarity is: 0.513270
the 3 and 10 similarity is: 0.787267
the 4 and 10 similarity is: 0.667888
the 5 and 10 similarity is: 0.833890
the 6 and 10 similarity is: 0.560256
the 7 and 10 similarity is: 0.371606
the 8 and 10 similarity is: 0.520289
the 9 and 10 similarity is: 0.604393
Out[63]: [(0, 5.0), (1, 5.0), (2, 5.0)]

在大型程序中，SVD每天运行一次或者频率更低，并且还要离线运行。冷启动问题（如何在缺乏数据时给出更好的推荐）处理起来也非常困难。
下面是使用SVD实现对图像的压缩，在svdRec.py中加入如下代码：

def printMat(inMat, thresh=0.8):#thresh阈值
    for i in range(32):
        for k in range(32):
            if float(inMat[i,k]) > thresh:
                print 1,
            else: print 0,
        print ''

def imgCompress(numSV=3, thresh=0.8):
    myl = []
    for line in open('0_5.txt').readlines():
        newRow = []
        for i in range(32):
            newRow.append(int(line[i]))
        myl.append(newRow)
    myMat = mat(myl)
    print "****original matrix******"
    printMat(myMat, thresh)
    U,Sigma,VT = la.svd(myMat)
    #新建全0矩阵重构
    SigRecon = mat(zeros((numSV, numSV)))
    for k in range(numSV):
        SigRecon[k,k] = Sigma[k]
    reconMat = U[:,:numSV]*SigRecon*VT[:numSV,:]
    print "****reconstructed matrix using %d singular values******" % numSV
    printMat(reconMat, thresh)

下面我们看看实际效果：

In [81]: svdRec.imgCompress(2)
****original matrix******
0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 
****reconstructed matrix using 2 singular values******
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

可以看见，只需要两个奇异值就能相当精确地对图像实现重构。数字的总数目是64+64+2=130，与原来的1024相比实现了很高的压缩比。
在大规模数据集上，SVD的计算和推荐可能是一个很困难的工程问题。通过离线方式来进行SVD分解和相似度计算，是一种减少冗余和推荐时所需时间的方法。下一章将介绍在大数据集上进行机器学习的一些工具。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 210,914评论 6赞 490
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 89,935评论 2赞 383
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 156,531评论 0赞 345
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,309评论 1赞 282
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,381评论 5赞 384
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,730评论 1赞 289
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,882评论 3赞 404
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,643评论 0赞 266
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,095评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,448评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,566评论 1赞 339
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,253评论 4赞 328
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,829评论 3赞 312
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,715评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,945评论 1赞 264
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,248评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,440评论 2赞 348

推荐阅读更多精彩内容