学习目标
模型的判断标准
- 训练误差
- 泛化误差
- 拟合程度
模型的评估方法
模型训练之后，对泛化误差进行评估，选择最小的为最优
留出法：数据集分为互斥的两部分-训练模型+测试模型，一般取 7：3或8：2，此时测试误差近似为泛化误差
-
交叉验证法，将数据集划分为k个大小相似的互斥的数据子集，每次从中选取一个作为测试集，其余作为训练集，进行k次训练，得到评估均值。
交叉验证法 留一法，每次留一份数据作为测试集，其余作为训练集，近似交叉验证，得到均值评估
-
自助法，有放回的随机抽样
自助法 - 几种方法的适用场景
- 几种方法的适用场景
性能度量
即评价模型泛化能力的标准，不同的模型有不同的评价标准
- 回归算法的性能度量
- 分类算法常用的性能度量
- 聚类算法的性能度量
比较检验
即在统计学意义上的比较
假设检验
- 统计学假设检验
假设检验步骤
- 假设检验的结果和直觉并不尽相同
-
假设检验的例子：二项式检验
假设检验的例子：T检验
假设检验在模型比较中的应用
以上了解即可，重点注意： - 原假设如何设定
- 原假设是需要收集证据去推翻的
偏差、方差与噪声
- 泛化误差组成推导
- 偏差与方差
- 偏差与方差
模拟，
- 模拟
- 模拟
