首页 文章

Scikit-learn选择回归数据

提问于
浏览 次
7

我正在尝试使用Python模块scikit应用单变量特征选择方法 - 学习svmlight格式的回归（即连续值响应值）数据集 .

我正在使用scikit-learn版本0.11 .

我尝试了两种方法 - 第一种方法失败，第二种方法适用于我的玩具数据集，但我认为这会给真正的数据集带来毫无意义的结果 .

我想建议一个适当的单变量特征选择方法，我可以应用于选择回归数据集的前N个特征 . 我要么想（a）弄清楚如何使f_regression功能起作用，或者（b）听取其他建议 .

上面提到的两种方法：

  • 我尝试使用sklearn.feature_selection.f_regression（X，Y） .

这失败，出现以下错误消息：“TypeError：copy（）只取1个参数（给定2个）”

  • 我尝试使用chi2（X，Y） . 这个"worked"但我怀疑这是因为我的玩具数据集中的两个响应值0.1和1.8被视为类标签？据推测，这不会产生真实数据集的有意义的卡方统计量，对于该数据集，将存在大量可能的响应值，并且每个单元格中的数量[具有特定响应值和被测试属性的值]将是低？

请找到粘贴在此消息末尾的玩具数据集 .

以下代码段应该给出我上面描述的结果 .

from sklearn.datasets import load_svmlight_file

X_train_data, Y_train_data = load_svmlight_file(svmlight_format_train_file) #i.e. change this to the name of my toy dataset file

from sklearn.feature_selection import SelectKBest
featureSelector = SelectKBest(score_func="one of the two functions I refer to above",k=2) #sorry, I hope this message is clear
featureSelector.fit(X_train_data,Y_train_data)
print [1+zero_based_index for zero_based_index in list(featureSelector.get_support(indices=True))] #This should print the indices of the top 2 features

提前致谢 .

理查德

我设计的svmlight文件的内容 - 为了清晰起见插入了额外的空白行：

1.8 1：1.000000 2：1.000000 4：1.000000 6：1.000000＃mA

1.8 1：1.000000 2：1.000000＃mB

0.1 5：1.000000＃mC

1.8 1：1.000000 2：1.000000 #mD

0.1 3：1.000000 4：1.000000＃mE

0.1 3：1.000000 #mF

1.8 2：1.000000 4：1.000000 5：1.000000 6：1.000000＃mG

1.8 2：1.000000 #mH

python scikit-learn

2 回答

  • 1

    您还可以尝试通过L1 / Lasso正则化进行特征选择 . 专门为此设计的类是 RandomizedLasso ，它将在数据的多个子样本上训练LassoRegression，并选择这些模型最常选择的特征 . 您也可以使用 Lasso ， LassoLars 或 SGDClassifier 来做同样的事情而不需要重新采样但速度更快 .

    回复于
  • 5

    正如larsmans所指出的，chi2不能用于回归数据的特征选择 .

    在更新为scikit-learn版本0.13后，以下代码选择了上述玩具数据集的前两个特征（根据f_regression测试） .

    def f_regression(X,Y):
   import sklearn
   return sklearn.feature_selection.f_regression(X,Y,center=False) #center=True (the default) would not work ("ValueError: center=True only allowed for dense data") but should presumably work in general

from sklearn.datasets import load_svmlight_file

X_train_data, Y_train_data = load_svmlight_file(svmlight_format_train_file) #i.e. change this to  the name of my toy dataset file

from sklearn.feature_selection import SelectKBest
featureSelector = SelectKBest(score_func=f_regression,k=2)
featureSelector.fit(X_train_data,Y_train_data)
print [1+zero_based_index for zero_based_index in list(featureSelector.get_support(indices=True))]
    回复于

相关问题