目录
[TOC]
常见基本概念
- 最小二乘: 适用于具有低方差，高偏差的数据
- 最近邻: 适用于具有高方差，低偏差的数据
- 方差: 刻画了预测值的变化范围，离散程度；方差越大，数据越分散(和真实值无关)
- 偏差: 刻画了预测值的期望与真实值之间的差距；偏差越大，数据越偏离真实数据
模型的复杂度应在偏差与方差之间均衡考虑，使检验误差最小。检验误差的一个显而易见的估计是训练误差训练误差并不能很好的解释模型的复杂性。 - 当提高模型复杂性 (即更严格的拟合数据) 使训练误差趋于减少，模型会过拟合而泛化能力差，此时估计值将具有较大方差
- 如果模型不够复杂，将拟合不足并可能具有较大偏差，导致泛化能力差。
损失函数与风险函数
统计学习的目标在于从模型的假设空间中选取最优模型
- 损失函数，度量模型一次预测好坏
- 风险函数，度量平均意义下模型预测的好坏
常用的损失函数有：
（1） 0-1损失函数
（2） 平方损失函数
（3） 绝对损失函数
（4） 对数损失函数
损失函数的期望，又称为风险函数或期望损失
模型关于训练数据集的平均损失称为经验风险，或经验损失
当样本数量趋于无穷时，经验风险将趋于期望风险。实际使用中，使用经验风险估计期望风险并不理想，需要进行矫正，也就是监督学习的两个基本策略：经验风险最小化与结构风险最小化
经验风险最小化（empirical risk minimization, ERM）的策略：
结构风险最小化（structural risk minimization, SRM）的策略（其中J(f)定义为模型的复杂度）：
风险最小化例子：极大似然估计
结构最小化例子：贝叶斯估计中的最大后验概率估计(MAP)
根据模型与策略获取目标函数后，问题转化为最优化问题，通过数值方法求解
模型选择方法
两种常用方法：正则化与交叉验证
-
正则化，属于结构风险最小化策略，即在经验风险上增加正则化项(或称惩罚项)。正则化项一般为模型复杂度的单调递增函数，如模型参数向量的范数。
常见正则化项有L2范数
L1范数 - 交叉验证，切割数据，反复使用
- 简单交叉验证
随机将数据分为两部分，一部分用于训练，另一部分用于验证 - K折交叉验证（K-fold cross validation）
将数据且分为K个大小相同的子集；其中K-1个用于训练，剩下的用于验证；重复K次，然后对这K次进行评估 - 留一法（leave-one-out cross vaidation）
K折交叉验证的特殊情况，K = 样本数
泛化能力
泛化能力即是对未知数据的预测能力
泛化误差事实上为模型的期望风险
生成模型与判别模型
监督学习方法可分为生成方法（generative approach）和判别方法（discriminative approach），分别对应生成模型与判别模型
-
生成模型：先由数据学习联合概率分布，然后求出输出变量的条件概率分布
典型的生成模型有朴素贝叶斯、隐马尔科夫。
特点：- 可获得联合概率分布
- 学习收敛速度块
- 存在隐变量时，仍可以用生成方法学习
- 判别模型：由数据直接学习决策函数或条件概率分布
特点：- 直接学习的决策函数或条件概率分布，学习准确率会较高
- 可以对数据进行各种程度上的抽象，应用特征抽取、转换等技术手段
分类问题
评价分类器性能指标一般是分类准确率（accuracy）：对于给定的测试集，正确分类的数量与总样本数之比，等价于损失函数为0-1损失时测试数据集上的准确率
对于二分类问题，评价指标是精确率（precision）与召回率（recall）。二分类的结果只可能为以下4种情况
- TP--------将正类预测为正类数
- FN--------将正类预测为负类数
- FP--------将负类预测为正类数
-
TN--------将负类预测为正类数
精确率定义为（针对预测结果而言）
召回率定义为（针对原来样本而言）
综合指标F1定义为精确率与召回率的调和均值（可扩展权重）
