首页 文章

解释Graphviz输出以进行决策树回归

提问于
浏览 次
7

我很好奇当Graphviz用于回归时， value 字段在决策树的节点中是什么 . 我知道这是使用决策树分类时每个类中由分割分隔的样本数，但我不确定它对回归意味着什么 .

我的数据有2维输入和10维输出 . 以下是我的回归问题树的示例：

使用此代码生成并使用webgraphviz进行可视化

# X = (n x 2)  Y = (n x 10)  X_test = (m x 2)

input_scaler = pickle.load(open("../input_scaler.sav","rb"))
reg = DecisionTreeRegressor(criterion = 'mse', max_depth = 2)
reg.fit(X,Y)
pred = reg.predict(X_test)
with open("classifier.txt", "w") as f:
    f = tree.export_graphviz(reg, out_file=f)

谢谢！

machine-learning scikit-learn regression graphviz decision-tree

1 回答

  • 4

    回归树实际上作为输出返回的是训练样本的因变量（此处为Y）的平均值，其最终在各个终端节点（叶子）中;这些平均值显示为图片中名为 value 的列表，这里的长度均为10，因为您的Y是10维的 .

    换句话说，并使用树的最左端节点（叶）作为示例：

    • 叶子由42个样本组成，其中 X[0] <= 0.675 和 X[1] <= 0.5

    • 这42个样本的10维输出的平均值在此假期的 value 列表中给出，确实长度为10，即 Y[0] 的平均值为 -152007.382 ， Y[1] 的平均值为 -206040.675 等等 Y[9] 是 3211.487 .

    您可以通过预测一些样本（来自您的训练或测试集 - 无关紧要）并检查您的10维结果是上面的终端中描述的4个 value 列表之一来确认这种情况 .

    此外，您可以确认，对于 value 中的每个元素，子节点的加权平均值等于父节点的相应元素 . 再次，使用最左边2个终端节点（叶子）的第一个元素，我们得到：

    (-42*152007.382 - 56*199028.147)/98
# -178876.39057142858

    即其父节点的 value[0] 元素（中间级别中最左边的节点） . 再举一个例子，这次是2个中间节点的第一个 value 元素：

    (-98*178876.391 + 42*417378.245)/140
# -0.00020000000617333822

    这再次与您的根节点的 -0.0 第一个 value 元素一致 .

    从您的根节点的 value 列表判断，您的10维Y的所有元素的平均值几乎为零，您可以（并且应该）手动验证，作为最终确认 .

    总结一下：

    • 每个节点的 value 列表包含相应节点的训练样本"belonging"的平均Y值

    • 此外，对于终端节点（叶子），这些列表是树模型的实际输出（即输出将始终是这些列表中的一个，具体取决于X）

    • 对于根节点， value 列表包含整个训练数据集的平均Y值

    回复于

相关问题