GridSearchCV - XGBoost - 提前停止-Java 学习之路

我试图在XGBoost上使用scikit-learn的GridSearchCV进行超级计量搜索 . 在网格搜索期间，我希望它能够提前停止，因为它可以大大减少搜索时间，并且（期望）在我的预测/回归任务上有更好的结果 . 我通过其Scikit-Learn API使用XGBoost .

model = xgb.XGBRegressor()
    GridSearchCV(model, paramGrid, verbose=verbose ,fit_params={'early_stopping_rounds':42}, cv=TimeSeriesSplit(n_splits=cv).get_n_splits([trainX, trainY]), n_jobs=n_jobs, iid=iid).fit(trainX,trainY)

我尝试使用fit_params提供早期停止参数，但之后它会抛出此错误，这主要是因为缺少早期停止所需的验证集：

/opt/anaconda/anaconda3/lib/python3.5/site-packages/xgboost/callback.py in callback(env=XGBoostCallbackEnv(model=<xgboost.core.Booster o...teration=4000, rank=0, evaluation_result_list=[]))
    187         else:
    188             assert env.cvfolds is not None
    189 
    190     def callback(env):
    191         """internal function"""
--> 192         score = env.evaluation_result_list[-1][1]
        score = undefined
        env.evaluation_result_list = []
    193         if len(state) == 0:
    194             init(env)
    195         best_score = state['best_score']
    196         best_iteration = state['best_iteration']

如何使用early_stopping_rounds在XGBoost上应用GridSearch？

注意：模型在没有gridsearch的情况下工作，GridSearch的工作也没有'fit_params = {'early_stopping_rounds'：42}

1 回答

使用 early_stopping_rounds 时，还必须将 eval_metric 和 eval_set 作为fit方法的输入参数 . 通过计算评估集上的误差来完成早期停止 . 每个错误都必须减少 early_stopping_rounds 否则会提前停止生成其他树 .

有关详细信息，请参阅xgboosts fit方法的documentation .

在这里，您可以看到最小的完整工作示例

import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import TimeSeriesSplit

cv = 2

trainX= [[1], [2], [3], [4], [5]]
trainY = [1, 2, 3, 4, 5]

# these are the evaluation sets
testX = trainX 
testY = trainY

paramGrid = {"subsample" : [0.5, 0.8]}

fit_params={"early_stopping_rounds":42, 
            "eval_metric" : "mae", 
            "eval_set" : [[testX, testY]]}

model = xgb.XGBRegressor()
gridsearch = GridSearchCV(model, paramGrid, verbose=1 ,
         fit_params=fit_params,
         cv=TimeSeriesSplit(n_splits=cv).get_n_splits([trainX,trainY]))
gridsearch.fit(trainX,trainY)

回复于 2024-04-28T05:47:40+08:00

GridSearchCV - XGBoost - 提前停止

1 回答

相关问题