我一直在关注ML course by Tom Mitchel并且在决策树（DT）学习中，选择 Entropy Gain 作为选择特征/参数 x_i 作为DT自上而下增长中另一个特征的子项的判定标准 .
我们选择DT的目标始终是通过最小化错误率来避免 overfitting ; then why don't we use error rate as a ruling criteria for feature/parameter selection in top-down growth of the tree.
输入数据的特征向量： X = < x_1, x_2......x_n >
1 回答
你可以't use error rate as you don't知道最终会是什么 . 也就是说，假设树最终是深度10，并且您在树的第2级，决定选择哪个特征和阈值 . 您可以't know at this stage what would be the error rate at level 10. So your criteria should only be based on the current level. With that being said, you don' t必须使用信息增益 . 还有其他标准 . 例如，一种这样的cretiria是基尼杂质，这是scikit learn DecisionTreeClassifier中使用的默认cretiria .