一. 模型与参数
给定输入xi,如何预测输出yi
二. 损失函数(误差函数)
在所有训练样本上评价模型的好坏。
经验风险:在已知的训练样本(经验数据)上计算得来
经验风险最小化原则 :找到一个参数 θ∗ 使得经验风险最小
经验风险最小化原则有几个重要问题:
- 训练的样本往往是真实数据的一个很小的子集或者包含一定的噪声数据
-
ERM(经验风险最小化原则)很容易导致模型在训练集上错误率很低,但是在未知数据上错误率很高。** (过拟合)**
(引入正则项解决ERM问题)
三. 正则项
鼓励简单模型,减少过拟合
结构风险最小化原则:在经验风险最小化的原则上上加参数的正则化
四. 参数学习算法
目标函数已知,如何从训练集的样本中,自动学习决策函数的参数
梯度下降:如果一个实值函数 f(x)在点a处可微且有定义,那么函数 f(x)在a点沿着梯度相反的方向-∇f(a)下降最快。
五. 机器学习解决问题的一般过程
模型与参数 ————> 给定输入xi,如何预测输出yi。
目标函数= 损失 + 正则 ————> 如何选择一个好参数
参数学习 ————> 如何自动学习参数
"""
Created on Fri May 31 16:05:38 2017
@author: mml
@email: mmlin.nju@gmail.com
"""