神经网络

• 感知机：由两层神经元组成
• 由于神经网络的层数比较少，因此学习能力比较有限
• 如果线性的模式是可分的， 那么一定会收敛，否则会发生震荡
• 多层前馈神经网络
  • 每一层与下一层连接
  • 同层不能连接
  • 不能跨层连接

BP神经网络

• 比较容易遇到过拟合的状况
• 解决方法是早停或者是正则化
• 如何跳出局部的最优解
  • 模拟退火
  • 采用多组不同参数初始化的神经网络
  • 随机梯度下降
• 其他的神经网络
  • 径向基函数 神经网络
  • ART网络 竞争型学习

深度学习

• 逐层训练 + 整体微调
• 权共享 ： 让一组神经元使用相同的连接权
• 没有看懂 手写识别的过程

支持向量

• 距离超平面最近的训练样本
• 支持向量机 最大化间隔
  • 间隔：

支持向量机的间隔

• 核函数： 把训练集投射到更高维度的空间中，简化了内积运算的求解
  • 核函数还可以通过线性组合，直积以及函数嵌套的方式进行重组
• 软间隔： 在最大化间隔的同时，不满足约束的样本应该尽可能的少，需要定义损失函数

支持向量回归

• 只有超出给定的偏差范围时，才会计算损失
• 表示定理： 优化问题的最优解都可以表示为核函数的线性组合

贝叶斯分类器

• 目标： 最小化总体的风险
• 可以通过平滑的方式，来避免因为训练集不充分的原因，而造成的估计概率值为0的情况。
• 贝叶斯网： 训练之后可以用来查询，通过一些属性变量的观测值来推测其他属性变量的取值

集成学习

• 构建并结合多个学习器来完成学习的任务
• 泛化性能比较好
• 每个分类器要 好而不同 ，随着分类器数目的增加，集成的错误率会按照指数下降。
• 优化方法：
  • Boosting：主要降低偏差，可以用于繁华性能相当弱的学习器
  • Bagging 与随机森林
    • Bagging : 随机采样出T个训练集，然后分别训练各个模型，分类使用简单的投票法，回归任务采用平均法。
    • 随机森林： 随机的选择一个属性来用于划分（与决策树相似），效果优于Bagging

聚类

• 距离计算： JC系数，FM系数，RI系数，性能的结果均值在[0,1]区间内，值越大越好
• 没有具体的标准，因此算法比较多

降维与度量学习

• K近邻学习： 懒惰学习——虽然简单，但是泛华错误率不会超过贝叶斯最优分类器的结果的两倍
  • 面临问题： 高维空间中数据十分稀疏 -> 用降维的方法解决
• 非线性降维： 避免丢失高维空间的结构信息，需要利用核函数
• 流形学习： 利用等度量映射，降维后的空间的距离不能使用高维空间的距离计算方式。（如何转换成低维空间——使用机器学习的方法）
• 度量学习： 直接学习一个可以计算距离的度量

特征选择与稀疏学习

• 需要进行特征选择，特征的选择方法：
  • 过滤式的选择： 先选择，再训练，选择与训练互补影响
  • 包裹式的选择： 选择一个量身定做的训练集，开销更大，效果更好
  • 嵌入式选择 ：在学习过程中自动进行了选择