决策树是一种非参数的监督学习算法，可用于分类和回归。它使用类似树的结构来表示决策及其潜在结果。决策树易于理解和解释，并且可以轻松地进行可视化。但是当决策树模型变得过于复杂时，它不能很好地从训练数据中泛化，会导致过拟合。
梯度提升是一种集成学习模型，在其中结合许多弱学习器从而得到一个强学习器。这些弱学习器是各个决策树，每个学习器都试图关注前一个学习器的错误。与单独的深层决策树相比，梯度提升通常不太容易过拟合。
本文将通过视觉方式解释用于分类和回归问题的决策树的理论基础。我们将看到这个模型是如何工作的，以及为什么它可能会导致过拟合。首先将介绍梯度提升以及它是如何改善单个决策树的性能的。然后将用Python从头实现梯度提升回归器和分类器。最后详细解释梯度提升背后的数学原理。
https://avoid.overfit.cn/post/4018f4fd09b44bfd8cd64abeb44ec10f
