使用MLlib从Spark的决策树中查找重要性值

2 回答

• 1

  在Spark 2中，您可以执行以下操作：

  val vectorAssembler = new VectorAssembler().setInputCols(featureArray)
  val decisionTreeModel = decisionTree.fit(trainingDataset)
  val featureImportances = decisionTreeModel.featureImportances // Sparse or Dense Vector
  
  featureArray.zip(featureImportances.toArray).sortBy(_._2).reverse
  

  回复于 2024-04-20T13:13:17+08:00
• 3

  当你训练DecisionTreeModel结束时，你有这个类

  class DecisionTreeModel(val topNode: Node, val algo: Algo) {
     ...
  }
  

  您可以从顶部开始遍历节点，您可以从中获得所需的一切（预测InformationGainStats）

  class Node (
      val id: Int,
      val predict: Double,
      val isLeaf: Boolean,
      val split: Option[Split],
      var leftNode: Option[Node],
      var rightNode: Option[Node],
      val stats: Option[InformationGainStats])
  

  回复于 2024-04-20T13:13:17+08:00