有时候XTX是不可逆的(奇异矩阵)。 造成不可逆的原因通常是以下两个: 有冗余特征: 有两个特征之间存在着一定联系,比如一个单位x1是米,另一个x2单位是千米,但表示的是同一个特征,这时候这两个特征之间存在着关系x2=x1。 根据线性代数的知识, 线形相关的矩阵不可逆的。 特征数n>训练集数m