机器学习中分类和预测算法的评估:
准确性
速度
强壮性
可规模性
可解释性
决策树(decision tree):
决策树是类似流程图的树结构。
每一个内部结点表示在一个属性上的测试,没一个分支代表一个属性的输出,而每个树叶结点代表类或类分布。
构造决策树基本算法:
熵:entropy(信息熵)
变量的不确定性越大,熵越大。
计算信息熵的公式
屏幕快照 2017-02-05 下午10.52.59.png
决策树归纳算法(ID3)
总结:
屏幕快照 2017-02-05 下午11.03.13.png
屏幕快照 2017-02-05 下午11.06.38.png
屏幕快照 2017-02-05 下午11.07.02.png
来源:
https://www.youtube.com/watch?v=4HXLUUmGvMM