我希望通过多类分类中的混淆矩阵来计算精度和回忆以及f-度量 . 我的结果日志不包含 y_true 和 y_pred ,只包含混淆矩阵 .
y_true
y_pred
你能告诉我如何从多类分类的混淆矩阵中得到这些分数吗?
让我们考虑MNIST数据分类的情况(10个类),对于10,000个样本的测试集,我们得到以下混淆矩阵 cm (Numpy数组):
cm
array([[ 963, 0, 0, 1, 0, 2, 11, 1, 2, 0], [ 0, 1119, 3, 2, 1, 0, 4, 1, 4, 1], [ 12, 3, 972, 9, 6, 0, 6, 9, 13, 2], [ 0, 0, 8, 975, 0, 2, 2, 10, 10, 3], [ 0, 2, 3, 0, 953, 0, 11, 2, 3, 8], [ 8, 1, 0, 21, 2, 818, 17, 2, 15, 8], [ 9, 3, 1, 1, 4, 2, 938, 0, 0, 0], [ 2, 7, 19, 2, 2, 0, 0, 975, 2, 19], [ 8, 5, 4, 8, 6, 4, 14, 11, 906, 8], [ 11, 7, 1, 12, 16, 1, 1, 6, 5, 949]])
为了获得精确度和召回率(每个类别),我们需要计算每个类别的TP,FP和FN . 我们不需要TN,但我们也会计算它,因为它将帮助我们进行理智检查 .
真正的正面只是对角元素:
# numpy should have already been imported as np TP = np.diag(cm) TP # array([ 963, 1119, 972, 975, 953, 818, 938, 975, 906, 949])
误报是相应列的总和,减去对角线元素(即TP元素):
FP = np.sum(cm, axis=0) - TP FP # array([50, 28, 39, 56, 37, 11, 66, 42, 54, 49])
类似地,假阴性是相应行的总和减去对角线(即TP)元素:
FN = np.sum(cm, axis=1) - TP FN # array([17, 16, 60, 35, 29, 74, 20, 53, 68, 60])
现在,真正的否定者有点棘手;让我们首先想一想真正的否定意味着什么,比如说类 0 :它意味着所有被正确识别为不是 0 的样本 . 所以,基本上我们应该做的是从混淆矩阵中删除相应的行和列,然后总结所有剩余的元素:
0
num_classes = 10 TN = [] for i in range(num_classes): temp = np.delete(cm, i, 0) # delete ith row temp = np.delete(temp, i, 1) # delete ith column TN.append(sum(sum(temp))) TN # [8970, 8837, 8929, 8934, 8981, 9097, 8976, 8930, 8972, 8942]
让我们进行一个健全性检查:对于每个类,TP,FP,FN和TN的总和必须等于我们的测试集的大小(这里是10,000):让我们确认确实如此:
l = 10000 for i in range(num_classes): print(TP[i] + FP[i] + FN[i] + TN[i] == l)
结果是
True True True True True True True True True True
计算好这些数量后,现在可以直接获得每个类别的精确度和召回率:
precision = TP/(TP+FP) recall = TP/(TP+FN)
这个例子是
precision # array([ 0.95064166, 0.97558849, 0.96142433, 0.9456838 , 0.96262626, # 0.986731 , 0.93426295, 0.95870206, 0.94375 , 0.9509018]) recall # array([ 0.98265306, 0.98590308, 0.94186047, 0.96534653, 0.97046843, # 0.91704036, 0.97912317, 0.94844358, 0.9301848 , 0.94053518])
您现在应该能够为任何大小的混淆矩阵虚拟地计算这些数量 .
如果您有以下形式的混淆矩阵:
cmat = [[ 5, 7], [25, 37]]
以下简单功能可以:
def myscores(smat): tp = smat[0][0] fp = smat[0][1] fn = smat[1][0] tn = smat[1][1] return tp/(tp+fp), tp/(tp+fn)
测试:
print("precision and recall:", myscores(cmat))
输出:
precision and recall: (0.4166666666666667, 0.16666666666666666)
以上功能也可以扩展为产生其他分数,其公式在https://en.wikipedia.org/wiki/Confusion_matrix上提及
2 回答
让我们考虑MNIST数据分类的情况(10个类),对于10,000个样本的测试集,我们得到以下混淆矩阵
cm
(Numpy数组):为了获得精确度和召回率(每个类别),我们需要计算每个类别的TP,FP和FN . 我们不需要TN,但我们也会计算它,因为它将帮助我们进行理智检查 .
真正的正面只是对角元素:
误报是相应列的总和,减去对角线元素(即TP元素):
类似地,假阴性是相应行的总和减去对角线(即TP)元素:
现在,真正的否定者有点棘手;让我们首先想一想真正的否定意味着什么,比如说类
0
:它意味着所有被正确识别为不是0
的样本 . 所以,基本上我们应该做的是从混淆矩阵中删除相应的行和列,然后总结所有剩余的元素:让我们进行一个健全性检查:对于每个类,TP,FP,FN和TN的总和必须等于我们的测试集的大小(这里是10,000):让我们确认确实如此:
结果是
计算好这些数量后,现在可以直接获得每个类别的精确度和召回率:
这个例子是
您现在应该能够为任何大小的混淆矩阵虚拟地计算这些数量 .
如果您有以下形式的混淆矩阵:
以下简单功能可以:
测试:
输出:
以上功能也可以扩展为产生其他分数,其公式在https://en.wikipedia.org/wiki/Confusion_matrix上提及