前言
信息是用来消除随机不确定性的东西。 ------香农
随机森林的特点这里就不说了，它就相当于机器学习领域的Leatherman（多面手），你几乎可以把任何东西扔进去，它基本上都是可供使用的。在估计推断映射方面特别好用，以致都不需要像SVM那样做很多参数的调试。
而想要了解随机森林，首先要了解决策树：
1）信息、熵以及信息增益的概念
这三个基本概念是决策树的根本，是决策树利用特征来分类时，确定特征选取顺序的依据。理解了它们，决策树也就了解了大概。
假设我们有一个数据集 S，每个数据元素都标明了所属的类别，即元素属于有限类别C 1 ,…, C n 中的一种。如果所有数据点都属于同一类别，那么也就不存在不确定性了，这就属于我们喜闻乐见的低熵情形。如果数据点均匀地分布在各个类别中，那么不确定性就较大，这时我们说具有较大的熵。从数学的角度来讲，如果 p i 表示 c i 类别中的数据所占的比例，那么可以把熵定义为：
2）决策树
决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。常见的决策树算法有C4.5、ID3和CART。
3）集成学习
集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
随机森林是集成学习的一个子类，它依靠于决策树的投票选择来决定最后的分类结果。
我们直接将其写成函数：
def entropy(class_probabilities):
return sum(-p * math.log(p, 2) for p in class_probabilities if p)
def partition_entropy(subsets):
total_count = sum(len(subset) for subset in subsets)
return sum( data_entropy(subset) * len(subset) / total_count
for subset in subsets )
def group_by(items, key_fn):
groups = defaultdict(list)
for item in items:
key = key_fn(item)
groups[key].append(item)
return groups
def partition_by(inputs, attribute):
return group_by(inputs, lambda x: x[0][attribute])
def partition_entropy_by(inputs,attribute):
partitions = partition_by(inputs, attribute)
return partition_entropy(partitions.values())
id3根据信息增益，运用自顶向下的贪心策略建立决策树。信息增益用于度量某个属性对样本集合分类的好坏程度,下面给出代码
def classify(tree, input):
if tree in [True, False]:
return tree
attribute, subtree_dict = tree
subtree_key = input.get(attribute)
if subtree_key not in subtree_dict:
subtree_key = None
subtree = subtree_dict[subtree_key]
return classify(subtree, input)
def build_tree_id3(inputs, split_candidates=None):
if split_candidates is None:
split_candidates = inputs[0][0].keys()
num_inputs = len(inputs)
num_trues = len([label for item, label in inputs if label])
num_falses = num_inputs - num_trues
if num_trues == 0:
return False
if num_falses == 0:
return True
if not split_candidates:
return num_trues >= num_falses
best_attribute = min(split_candidates,
key=partial(partition_entropy_by, inputs))
partitions = partition_by(inputs, best_attribute)
new_candidates = [a for a in split_candidates
if a != best_attribute]
subtrees = { attribute : build_tree_id3(subset, new_candidates)
for attribute, subset in partitions.iteritems()
}
subtrees[None] = num_trues > num_falses
return (best_attribute, subtrees)
到这里，我们的决策树就构建完成了，接下来我们看看随机森林的构建
随机森林的生成
首先介绍Bootstraping，即自助法(bagging)：它是一种随机有放回的抽样方法（可能抽到重复的样本）。
从这里我们可以知道：每棵树的训练集都是不同的，而且里面包含重复的训练样本。
- Bagging是并行式集成学习代表方法。基于“自助采样法”（bootstrap sampling）。自助采样法机制：给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下一次采样时该样本还会被采到。这样，经过m次样本采集，我们得到包含m个样本的采样集。采样集中，有的样本出现过很多次，有的没有出现过。Bagging机制：我们采样出T个含m个样本的采样集。然后基于每个采样集训练出一个学习器，再将学习器进行结合。对分类任务使用投票法，对回归任务采用平均值法。
# 如果已经存在了几个足够的划分候选项， 就查看全部
if len(split_candidates) <= self.num_split_candidates:
sampled_split_candidates = split_candidates
# 否则选取一个随机样本
else:
sampled_split_candidates = random.sample(split_candidates,
self.num_split_candidates)
# 现在仅从这些候选项中选择最佳属性
best_attribute = min(sampled_split_candidates,
key=partial(partition_entropy_by, inputs))
partitions = partition_by(inputs, best_attribute
- Boosting是一族可以将若学习器提升为强学习器的算法，代表算法为AdaBoost。该算法的工作机制：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器。如此反复进行，直至学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。Boosting我是参考的这个说实话，数学公式真的没怎么看懂。
GBDT算法
GBDT是一个应用很广泛的算法，可以用来做分类、回归。在很多的数据上都有不错的效果。
而Gradient Boost与传统的Boost的区别是，每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在残差减少的梯度(Gradient)方向上建立一个新的模型。所以说，在Gradient Boost中，每个新的模型的简历是为了使得之前模型的残差往梯度方向减少，与传统Boost对正确、错误的样本进行加权有着很大的区别。
对于大量的数学推到，我是看不懂，推荐这个,讲的算通俗易懂的。
根据实际测试（就是直接调用sklearn等库对一些应用其他回归算法的数据应用GBDT准确性很高~这个真的算神器！）
