机器学习(统计学习),由多个要素组成,即模型、策略、算法,大部分机器学习都包含这三个维度,树模型没有算法维度。
模型:即现实问题的假设空间,问题满足线性空间还是非线性空间;采用神经网络还是非神经网络。即通常所说的数学模型,形式可能很简单,也可能非常复杂。模型确定了优化问题的空间。
策略:策略指的是以什么样的标准选择模型,和模型评估是两个不同的概念,两者一般属于正相关。策略即通常所说的损失函数,不同的业务问题需要采用不同的策略。策略指导优化的方向。
算法:算法指具体的优化手段,即通过什么方式求解。常见的有解析解、梯度下降类。
机器学习的不同,主要是上述三要素间的不同,不同维度间的任意组合,可以得到非常多的机器学习方法。