首页 文章

Scikit-learn中KNN分类器中的网格搜索参数和交叉验证数据集

提问于
浏览 次
5

我正在尝试使用SciKit-Learn执行我的第一个KNN分类器 . 我一直在关注用户指南和其他在线示例，但有一些我不确定的事情 . 对于这篇文章，我们使用以下内容

X =数据Y =目标

1）在我读过的机器学习页面的大多数介绍中，它似乎都说你想要一个训练集，一个验证集和一个测试集 . 根据我的理解，交叉验证允许您组合训练和验证集来训练模型，然后您应该在测试集上测试它以获得分数 . 但是，我在论文中看到，在很多情况下，您只需对整个数据集进行交叉验证，然后将CV分数报告为准确度 . 我理解在一个理想的世界中你会想要测试单独的数据，但如果这是合法的，我想在我的整个数据集上交叉验证并报告这些分数

2）开始这个过程

我将KNN分类器定义如下

knn = KNeighborsClassifier(algorithm = 'brute')

我使用搜索最好的n_neighbors

clf = GridSearchCV(knn, parameters, cv=5)

现在，如果我说

clf.fit(X,Y)

我可以使用检查最佳参数

clf.best_params_

然后我就能得分

clf.score(X,Y)

但是 - 据我所知，这还没有交叉验证模型，因为它只给出1分？

如果我看到clf.best_params_ = 14现在我可以继续

knn2 = KNeighborsClassifier(n_neighbors = 14, algorithm='brute')
cross_val_score(knn2, X, Y, cv=5)

现在我知道数据已经过交叉验证但是我不知道使用clf.fit找到最佳参数然后使用cross_val_score和新的knn模型是否合法？

3）我理解这样做的“正确”方法如下

拆分为X_train，X_test，Y_train，Y_test，比例训练集 - >将变换应用于测试集

knn = KNeighborsClassifier(algorithm = 'brute')
clf = GridSearchCV(knn, parameters, cv=5)
clf.fit(X_train,Y_train)
clf.best_params_

然后我就能得分

clf.score(X_test,Y_test)

在这种情况下，使用最佳参数计算得分吗？

我希望这是有道理的 . 我一直试图尽可能多地发现，但我已经到了我认为更容易得到一些直接答案的地步 .

在我的脑海中，我试图使用整个数据集获得一些交叉验证的分数，但也使用gridsearch（或类似的东西）来微调参数 .

提前致谢

scikit-learn cross-validation knn grid-search

1 回答

  • 5

    • 是的，您可以在整个数据集上进行简历，但是我仍然建议您至少将数据拆分为2组，一组用于CV，另一组用于测试 .

    • .score 函数应该根据documentation返回单个 float 值，这是 best estimator 的分数（这是你从 GridSearchCV 得到的最佳得分估算值）给定的X，Y

    • 如果你看到最佳参数是14而不是是你可以在你的模型中使用它，但如果你给它更多参数，你应该设置所有参数 . （ - 我之所以这么说，因为你没有给出你的参数列表）是的，再次检查你的简历是合理的，以防这个模型是否应该如此好 .

    希望能让事情更清晰:)

    回复于

相关问题