问题
传统线性模型问题：
1 稀疏性：onehot带来数据稀疏性(尤其是id特征)，使得特征空间变大；
2 线性组合的权重，训练不充分，也会带来稀疏性；观察样本中未出现交互的特征分列，不能对相应的参数进行估计；
解决方案：
引入隐向量，相当于对特征embedding，使用隐向量内积作为交叉特征向量；交叉特征参数W=VV，所以也被称为矩阵分解。
模型
模型
复杂度
可由O(kn**2)将至O(kn),平均复杂度更低
image.png
策略
一般回归和二分类(多分类权重系数过多)
回归
lse最小平方误差
二分类
hinge损失或者ligit loss
算法
参数分三部分，梯度如下
正则
image.png
超参
image.png
问题
1改进点有哪些：
a.控制k的取值，k高，表达能力强，k小，利用低秩近似的优势，提高泛化性；
b.特征交叉，引入embedding思想，对每一个特征embedding；
c. 复杂度线性。
参考：
https://www.cnblogs.com/pinard/p/6370127.html
http://www.52caml.com/head_first_ml/ml-chapter9-factorization-family/
