机器学习算法的优缺点
线性回归是用于回归的，而不像Logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用Normal Equation直接求得参数的解，结果为1：
ω^=(XTX)−1XTyω^=(XTX)−1XTy
而在LWLR(局部加权线性回归)中，参数的计算表达式为：
ω^=(XTWX)−1XTWyω^=(XTWX)−1XTWy
由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。
优点：
实现简单，计算简单；
缺点：
不能拟合非线性数据。
线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。
Logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)g(z)将最为假设函数来预测。g(z)g(z)可以将连续值映射到0和1上。
其损失函数的目的是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重2。
优点：
预测结果是界于0和1之间的概率；
可以适用于连续性和类别性自变量；
容易使用和解释；
缺点：
当特征空间很大时，逻辑回归的性能不是很好；
容易欠拟合，一般准确度不太高；
不能很好地处理大量多类特征或变量；
只能处理两分类问题（在此基础上衍生出来的Softmax可以用于多分类），且必须线性可分；
预测结果呈“S”型，因此从log(odds)log(odds)向概率转化的过程是非线性的，在两端随着log(odds)log(odds)值的变化，概率变化很小，边际值太小，slopeslope太小，而中间概率的变化很大，很敏感。 导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值；
对于非线性特征，需要进行转换；
朴素贝叶斯属于生成式模型（关于生成模型和判别式模型，主要还是在于是否是要求联合分布），非常简单，你只是做了一堆计数。如果注有条件独立性假设（一个比较严格的条件），朴素贝叶斯分类器的收敛速度将快于判别模型，如逻辑回归，所以你只需要较少的训练数据即可。即使NB条件独立假设不成立，NB分类器在实践中仍然表现的很出色。它的主要缺点是它不能学习特征间的相互作用，用mRMR中R来讲，就是特征冗余。引用一个比较经典的例子，比如，虽然你喜欢BradPitt和TomCruise的电影，但是它不能学习出你不喜欢他们在一起演的电影。
优点：
朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率；
对小规模的数据表现很好，能个处理多分类任务，适合增量式训练；
对缺失数据不太敏感，算法也比较简单，常用于文本分类。
缺点：
需要计算先验概率；
分类决策存在错误率；
对输入数据的表达形式很敏感。
其主要过程为：
计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
对上面所有的距离值进行排序；
选前kk个最小距离的样本；
根据这kk个样本的标签进行投票，得到最后的分类类别；
如何选择一个最佳的kk值，这取决于数据。一般情况下，在分类时较大的kk值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的kk值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使kk近邻算法的准确性减小。
近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的kk值，kk近邻保证错误率不会超过贝叶斯理论误差率。
优点：
理论成熟，思想简单，既可以用来做分类也可以用来做回归；
可用于非线性分类；
训练时间复杂度为O(n)O(n)；
对数据没有假设，准确度高，对outlier不敏感；
缺点：
计算量大；
样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；
需要大量的内存。
易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树Boosted Tree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。
决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。
优点:
计算简单，易于理解，可解释性强；
比较适合处理有缺失属性的样本；
能够处理不相关的特征；
在相对短的时间内能够对大型数据源做出可行且效果良好的结果。
缺点:
容易发生过拟合（随机森林可以很大程度上减少过拟合）；
忽略了数据之间的相关性；
对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征（只要是使用了信息增益，都有这个缺点，如RF）。
