GBDT、XGBoost、LightGBM的区别与联系

GBDT (Gradient Boosting Decision Tree)
是机器学习中一个经典的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT 也是各种数据挖掘竞赛的致命武器，据统计 Kaggle 上的比赛有一半以上的冠军方案都是基于 GBDT。

XGBoost（eXtreme Gradient Boosting）
华盛顿大学的陈天奇博士开发，它是Gradient Boosting Machine的一个c++实现，并在原有的基础上加以改进，从而极大地提升了模型训练速度和预测精度。可以说，XGBoost是Gradient Boosting的高效实现。

LightGBM （Light Gradient Boosting Machine）
是一个实现 GBDT 算法的框架，支持高效率的并行训练，2017年1月Microsoft在Github上开源。https://github.com/Microsoft/LightGBM

  • 三者之间的关系总结：
  1. GBDT是模型；
  2. XGBoost是GBDT模型的升级版，同时又是实现了XGBoost的框架。
  3. LightGBM是XGBoost框架的升级版，同时实现了GBDT和XGBoost模型。
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容