首页 文章

Scikit F-score指标错误

提问于
浏览
6

我试图使用_2605554预测一组标签_我的数据确实是不 balancer 的(比'1'标签还要多'0')所以我必须在交叉验证步骤中使用F1 score metric来结果"balance" .

[Input]
X_training, y_training, X_test, y_test = generate_datasets(df_X, df_y, 0.6)
logistic = LogisticRegressionCV(
    Cs=50,
    cv=4,
    penalty='l2', 
    fit_intercept=True,
    scoring='f1'
)
logistic.fit(X_training, y_training)
print('Predicted: %s' % str(logistic.predict(X_test)))
print('F1-score: %f'% f1_score(y_test, logistic.predict(X_test)))
print('Accuracy score: %f'% logistic.score(X_test, y_test))

[Output]
>> Predicted: [0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0]
>> Actual:    [0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 1 1]
>> F1-score: 0.285714
>> Accuracy score: 0.782609
>> C:\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:958:  
   UndefinedMetricWarning:
   F-score is ill-defined and being set to 0.0 due to no predicted samples.

我当然知道这个问题与我的数据集有关:它太小了(它只是真实的一个样本) . 但是,任何人都可以解释我所看到的“UndefinedMetricWarning”警告的含义吗?窗帘后面究竟发生了什么?

2 回答

  • 1

    它似乎已经修复了已知的错误here,我想你应该尝试更新sklearn .

  • 4

    但是,任何人都可以解释我所看到的“UndefinedMetricWarning”警告的含义吗?窗帘后面究竟发生了什么?

    这在https://stackoverflow.com/a/34758800/1587329中有详细描述:

    https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/metrics/classification.py F1 = 2 (精度召回)/(精确召回)精度= TP /(TP FP)正如你刚才所说的,如果预测器根本没有预测正类 - 精度为0.召回= TP /(TP FN),如果预测器不预测正类 - TP为0 - 召回为0.所以现在你要划分0/0 .

    要解决加权问题(分类器很容易(几乎)总是预测更普遍的类),你可以使用 class_weight="balanced"

    logistic = LogisticRegressionCV(
        Cs=50,
        cv=4,
        penalty='l2', 
        fit_intercept=True,
        scoring='f1',
        class_weight="balanced"
    )
    

    LogisticRegressionCV说:

    “ balancer ”模式使用y的值自动调整与输入数据中的类频率成反比的权重,如n_samples /(n_classes * np.bincount(y)) .

相关问题