首页 文章

在训练和交叉验证模型时获得了良好的结果,但测试数据集显示效果不佳

提问于
浏览
0

我的问题是我获得了一个非常好的结果模型(训练和交叉验证),但是当我再次测试它(使用不同的数据集)时,会出现不良结果 .

我得到了一个经过培训和交叉验证测试的模型 . 该模型显示AUC = 0.933,TPR = 0.90和FPR = 0.04

我想没有过度拟合的现在看图片,对应于学习曲线(错误),学习曲线(得分)和偏差曲线:

learning curve with score

learning curve with error

deviance curve

问题是,当我用不同的测试数据集测试这个模型时,我得到的结果很差,与我的preius结果无关AUC = 0.52,TPR = 0.165和FPR = 0.105

我使用Gradient Boosting Classifier来训练我的模型,其中learning_rate = 0.01,max_depth = 12,max_features ='auto',min_samples_leaf = 3,n_estimators = 750

我使用SMOTE来 balancer 课程 . 它是二元模型 . 我矢量化了我的分类属性 . 我使用了75%的数据集进行训练,25%进行了测试 . 我的模型具有非常低的训练误差和低测试误差,所以我猜它没有过度装配 . 训练误差非常低,因此训练和cv-test数据集中没有异常值 . 从现在开始我能做些什么来找到问题?谢谢

1 回答

  • 0

    如果生成数据集的过程是非静态的,则可能会导致您描述的行为 . 在这种情况下,您用于测试的数据集的分布尚未用于培训

相关问题