GBDT、XGBoost、LightGBM的区别与联系

GBDT (Gradient Boosting Decision Tree)
是机器学习中一个经典的模型,其主要思想是利用弱分类器(决策树)迭代训练以得到最优模型,该模型具有训练效果好、不易过拟合等优点。GBDT 也是各种数据挖掘竞赛的致命武器,据统计 Kaggle 上的比赛有一半以上的冠军方案都是基于 GBDT。

XGBoost(eXtreme Gradient Boosting)
华盛顿大学的陈天奇博士开发,它是Gradient Boosting Machine的一个c++实现,并在原有的基础上加以改进,从而极大地提升了模型训练速度和预测精度。可以说,XGBoost是Gradient Boosting的高效实现。

LightGBM (Light Gradient Boosting Machine)
是一个实现 GBDT 算法的框架,支持高效率的并行训练,2017年1月Microsoft在Github上开源。https://github.com/Microsoft/LightGBM

  • 三者之间的关系总结:
  1. GBDT是模型;
  2. XGBoost是GBDT模型的升级版,同时又是实现了XGBoost的框架。
  3. LightGBM是XGBoost框架的升级版,同时实现了GBDT和XGBoost模型。
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容