在建模问题或项目中，通常情况下，可接受模型的函数形式会以某种方式受到约束。这可能是由于业务考虑，或者由于正在研究的科学问题的类型。在某些情况下，如果对真实关系有非常强烈的先验信念，可以使用约束来提高模型的预测性能。

在这种情况下的一种常见约束类型是，某些特征与预测响应呈单调关系：

$$f(x_1,x_2,\dots ,x,\dots ,x_{n-1},x_n)\le f(x_1,x_2,\dots ,x^{\prime },\dots ,x_{n-1},x_n)$$

无论何时$x\le x^{\prime }$是一个增加约束；或者

$$f(x_1,x_2,\dots ,x,\dots ,x_{n-1},x_n)\ge f(x_1,x_2,\dots ,x^{\prime },\dots ,x_{n-1},x_n)$$

无论何时$x\le x^{\prime }$是一个递减约束；

XGBoost具有对增强模型中使用的任何特征执行单调性约束的能力。

简单示例

为了说明，创建一些模拟数据，其中包含两个特征和一个响应，符合以下方案

$$y=5x_1+\sin (10\pi x_1)-5x_2-\cos (10\pi x_2)+N(0,0.01)x_1,x_2\in [0,1]$$

响应通常随着$x_1$特征的增加而增加，但叠加了正弦变化，导致真实效果是非单调的。对于$x_2$特征，变化是减小的，具有正弦变化。

现在对这些数据进行拟合，而不施加任何单调性约束：

黑色曲线显示了从模型中推断出的每个特征的趋势。为了制作这些图，将突出显示的特征$x_1$传递给模型，其值在一维网格上变化，而所有其他特征（在这种情况下只有一个其他特征）被设置为它们的平均值。可以看到该模型很好地捕捉了周期波动的总体趋势。

这是相同的模型，但使用了单调性约束进行拟合：

从上图可以看到约束的效果。对于每个变量，趋势的一般方向仍然明显，但振荡行为不再存在，因为这违反了强加的约束。

在 XGBoost 中强制执行单调约束

在XGBoost中强制执行单调性约束非常简单。这里将使用Python进行示例，但相同的一般思想可以推广到其他平台。

假设以下代码在没有单调性约束的情况下拟合模型：

model_no_constraints = xgb.train(params, dtrain,num_boost_round = 1000, evals = evallist,early_stopping_rounds = 10)

然后拟合单调性约束只需要添加单个参数

params_constrained = params.copy()
params_constrained['monotone_constraints'] = (1, -1)model_with_constraints = xgb.train(params_constrained, dtrain,num_boost_round = 1000, evals = evallist,early_stopping_rounds = 10)

在这个例子中，训练数据 X 有两列，通过使用参数值 (1,-1)，告诉 XGBoost 对第一个预测器施加递增约束，并对第二个预测器施加递减约束。

其他一些例子：

• (1, 0): 对第一个预测器施加递增约束，对第二个预测器没有约束
• (0, -1): 对第一个预测器没有约束，对第二个预测器施加递减约束

注意

‘hist’ tree construction algorithm的注意事项。如果将tree_method设置为hist或approx，启用单调性约束可能会导致树变得不必要地浅。这是因为hist方法减少了在每个分裂处考虑的候选分裂数。单调性约束可能会清除所有可用的分裂候选项，如果发生这种情况，将不会进行分裂。为减少影响，可能需要增加max_bin参数以考虑更多的分裂候选项。

使用特征名称

XGBoost的Python包支持使用特征名称而不是特征索引来指定约束。假设有一个包含列$["f0","f1","f2"]$的数据框，可以将单调性约束指定为$"f0":1,"f2":-1$，而"f1"将默认为0（无约束）。

import xgboost as xgb
import numpy as np
import matplotlib.pyplot as plt# Simulated data
np.random.seed(42)
num_samples = 1000
X = np.random.rand(num_samples, 2)def calculate_y(X):x1 = X[:, 0]x2 = X[:, 1]return 5 * x1 + np.sin(10 * np.pi * x1) - 5 * x2 - np.cos(10 * np.pi * x2) + np.random.normal(0, 0.01, len(X))y = calculate_y(X)# Fitting a model without monotonicity constraints
params = {'objective': 'reg:squarederror', 'booster': 'gbtree'}
model = xgb.XGBRegressor(**params)
model.fit(X, y)y_pred = model.predict(X)# Fitting a model with monotonicity constraints
params_constrained = {'objective': 'reg:squarederror', 'booster': 'gbtree', 'monotone_constraints': '(1, -1)'}
model_constrained = xgb.XGBRegressor(**params_constrained)
model_constrained.fit(X, y)y_constrained_pred = model_constrained.predict(X)fig, axs = plt.subplots(2, 2, figsize=(12, 10))axs[0, 0].scatter(X[:, 0], y_pred)
axs[0, 0].set_xlabel('X1')
axs[0, 0].set_ylabel('Y')
axs[0, 0].set_title('X1-Y Relationship')axs[0, 1].scatter(X[:, 1], y_pred)
axs[0, 1].set_xlabel('X2')
axs[0, 1].set_ylabel('Y')
axs[0, 1].set_title('X2-Y Relationship')axs[1, 0].scatter(X[:, 0], y_constrained_pred)
axs[1, 0].set_xlabel('X1')
axs[1, 0].set_ylabel('Y')
axs[1, 0].set_title('X1-Y constraints Relationship')axs[1, 1].scatter(X[:, 1], y_constrained_pred)
axs[1, 1].set_xlabel('X2')
axs[1, 1].set_ylabel('Y')
axs[1, 1].set_title('X2-Y constraints Relationship')plt.tight_layout()plt.show()

参考

• https://xgboost.readthedocs.io/en/latest/tutorials/monotonic.html