Scikit Learn - Boosting 方法

在本章中，我们将学习 Sklearn 中的 Boosting 方法，该方法可用于构建集成模型。

Boosting 方法以增量方式构建集成模型。其主要原理是通过顺序训练每个基础模型估计器来逐步构建模型。为了构建强大的集成模型，这些方法基本上将几个周学习器组合在一起，这些学习器在训练数据的多次迭代中顺序训练。sklearn.ensemble 模块包含以下两种 Boosting 方法。

AdaBoost

它是最成功的 Boosting 集成方法之一，其关键在于赋予数据集中实例权重的方式。这就是为什么算法在构建后续模型时不需要过多关注实例。

使用 AdaBoost 进行分类

为了创建 AdaBoost 分类器，Scikit-learn 模块提供了 sklearn.ensemble.AdaBoostClassifier。在构建此分类器时，该模块使用的主要参数是 base_estimator。其中，base_estimator 是构建增强集成所基于的 基估计器 的值。如果我们将此参数的值设为 None，则基础估计器将为 DecisionTreeClassifier(max_depth=1)。

实现示例

在下面的示例中，我们使用 sklearn.ensemble.AdaBoostClassifier 构建一个 AdaBoost 分类器，并预测和检查其得分。

from sklearn.ensemble import AdaBoostClassifier
from sklearn.datasets import make_classification
X, y = make_classification(n_samples = 1000, n_features = 10, n_informative = 2, n_redundant = 0, random_state = 0, shuffle = False)
ADBclf = AdaBoostClassifier(n_estimators = 100, random_state = 0)
ADBclf.fit(X, y)

输出

AdaBoostClassifier(algorithm = 'SAMME.R', base_estimator = None,
learning_rate = 1.0, n_estimators = 100, random_state = 0)

示例

拟合完成后，我们可以预测新的值，如下所示 −

print(ADBclf.predict([[0, 2, 3, 0, 1, 1, 1, 1, 2, 2]]))

输出

[1]

示例

现在我们可以用如下方式检查分数 −

ADBclf.score(X, y)

输出

0.995

示例

我们也可以使用 sklearn 数据集，通过 Extra-Tree 方法构建分类器。例如，在下面给出的示例中，我们使用了 Pima-Indian 数据集。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import AdaBoostClassifier
path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names = headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]
seed = 5
kfold = KFold(n_splits = 10, random_state = seed)
num_trees = 100
max_features = 5
ADBclf = AdaBoostClassifier(n_estimators = num_trees, max_features = max_features)
results = cross_val_score(ADBclf, X, Y, cv = kfold)
print(results.mean())

输出

0.7851435406698566

使用 AdaBoost 进行回归

为了使用 Ada Boost 方法创建回归器，Scikit-learn 库提供了 sklearn.ensemble.AdaBoostRegressor。构建回归器时，它将使用与 sklearn.ensemble.AdaBoostClassifier 相同的参数。

实现示例

在下面的示例中，我们使用 sklearn.ensemble.AdaBoostregressor 构建 AdaBoost 回归器，并使用 predict() 方法预测新值。

from sklearn.ensemble import AdaBoostRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features = 10, n_informative = 2,random_state = 0, shuffle = False)
ADBregr = RandomForestRegressor(random_state = 0,n_estimators = 100)
ADBregr.fit(X, y)

输出

AdaBoostRegressor(base_estimator = None, learning_rate = 1.0, loss = 'linear',
n_estimators = 100, random_state = 0)

示例

拟合后，我们可以从回归模型中预测如下 −

print(ADBregr.predict([[0, 2, 3, 0, 1, 1, 1, 1, 2, 2]]))

输出

[85.50955817]

梯度树提升

它是也称为梯度提升回归树 (GRBT)。它本质上是将提升算法推广到任意可微损失函数。它以弱预测模型集成的形式生成预测模型。它可用于回归和分类问题。其主要优势在于能够自然地处理混合类型数据。

使用梯度提升树进行分类

为了创建梯度提升树分类器，Scikit-learn 模块提供了 sklearn.ensemble.GradientBoostingClassifier。在构建此分类器时，此模块使用的主要参数是"loss"。此处，"loss"是需要优化的损失函数值。如果我们选择 loss = deviance，则它指的是具有概率输出的分类的偏差。

另一方面，如果我们将此参数的值设置为指数，则它将恢复为 AdaBoost 算法。参数 n_estimators 将控制周学习器的数量。名为 learning_rate 的超参数（取值范围为 (0.0, 1.0]）将通过收缩来控制过拟合。

实现示例

在下面的示例中，我们使用 sklearn.ensemble.GradientBoostingClassifier 构建一个梯度提升分类器。我们将使用 50 个周学习器来拟合该分类器。

from sklearn.datasets import make_hastie_10_2
from sklearn.ensemble import GradientBoostingClassifier
X, y = make_hastie_10_2(random_state = 0)
X_train, X_test = X[:5000], X[5000:]
y_train, y_test = y[:5000], y[5000:]

GDBclf = GradientBoostingClassifier(n_estimators = 50, learning_rate = 1.0,max_depth = 1, random_state = 0).fit(X_train, y_train)
GDBclf.score(X_test, y_test)

输出

0.8724285714285714

示例

我们也可以使用 sklearn 数据集，通过梯度提升分类器构建分类器。如下例所示，我们使用 Pima-Indian 数据集。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import GradientBoostingClassifier
path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names = headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]
seed = 5
kfold = KFold(n_splits = 10, random_state =种子)
num_trees = 100
max_features = 5
ADBclf = GradientBoostingClassifier(n_estimators = num_trees, max_features = max_features)
results = cross_val_score(ADBclf, X, Y, cv = kfold)
print(results.mean())

输出

0.7946582356674234

使用梯度树提升方法进行回归

为了使用梯度树提升方法创建回归器，Scikit-learn 库提供了 sklearn.ensemble.GradientBoostingRegressor。它可以通过参数名称 loss 指定回归的损失函数。损失函数的默认值为"ls"。

实现示例

在下面的示例中，我们使用 sklearn.ensemble.GradientBoostingregressor 构建了一个梯度提升回归器，并使用 mean_squared_error() 方法计算均方误差。

import numpy as np
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_friedman1
from sklearn.ensemble import GradientBoostingRegressor
X, y = make_friedman1(n_samples = 2000, random_state = 0, noise = 1.0)
X_train, X_test = X[:1000], X[1000:]
y_train, y_test = y[:1000], y[1000:]
GDBreg = GradientBoostingRegressor(n_estimators = 80, learning_rate=0.1,
max_depth = 1, random_state = 0, loss = 'ls').fit(X_train, y_train)

拟合完成后，我们可以得到如下的均方误差 −

mean_squared_error(y_test, GDBreg.predict(X_test))

输出

5.391246106657164