决策树预剪枝这东西看着简单真正自己动手实现一遍才会发现里面的门道远比想象的要多。刚开始学机器学习的时候我踩过不少坑。最典型的一次是拿sklearn里的DecisionTreeClassifier直接训练不设任何参数训练集上准确率直接拉满到100%当时还挺得意。结果测试集一跑掉了十几个点瞬间就懵了。后来才明白决策树这种递归划分的结构天生就有过拟合体质你不管它它能长到把训练集里每个样本都单独记下来这哪是学规律分明是在背答案。这篇文章我就围绕决策树预剪枝算法实现这个主题把预剪枝的原理、手写实现、sklearn参数调优、以及实际项目里踩坑的经验一次性讲透。适合刚接触决策树想搞懂剪枝原理的初学者也适合已经用sklearn跑过模型但始终调不好参数的同学参考。1. 先讲清楚一个问题决策树为什么非要剪枝不可1.1 递归划分带来的精确但脆弱困境决策树的构建过程本质上是一个递归划分特征空间的过程。从根节点开始每次选择一个特征和对应的划分阈值把当前节点的样本分成两类或几类然后在每一个子节点上重复这个过程直到满足停止条件。这个机制天然有一个倾向如果没有任何约束树会一直生长到每个叶节点里只剩一个样本或者所有样本都被完全正确分类为止。这时候训练集上的准确率几乎是100%但测试集上的表现往往惨不忍睹。我在实际调模型的时候就发现完全不剪枝的决策树其实就是把训练集里的每一个样本都背了下来。你说它没用吧它确实能完美复述训练数据你说它有用吧换一批新数据立马露馅。就像考试前把习题答案原封不动背下来结果考试题目稍微换个数字就不会做了不是没学是学歪了。1.2 过拟合在决策树上的三种典型表现过拟合在决策树上通常表现为下面几种情况你们可以对照自己的模型检查一下树的深度过大。默认参数下CART树可以一直生长极端情况下深度可能超过几十层。每一层划分都在捕捉越来越细碎的局部模式而这些模式大概率只是噪声。叶节点数量过多。树把样本拆得越来越细很多叶节点里只有一两个样本。这种所谓的纯节点毫无泛化意义因为它只是记住了训练集的极端情况。对输入数据极其敏感。训练集里只要有一个异常样本整棵树的划分结构可能就变了。你说一个模型对数据扰动这么敏感它在实际场景里谁敢信任打个比方吧决策树不剪枝就像一个团队无限制招人每个人都有很细的分工甚至一个人只负责一个极小的环节结果人越多协调成本越高整体效率反而下降了。剪枝做的事情就是精简组织架构把那些对整体能力贡献不大、纯粹增加内耗的部分砍掉。2. 预剪枝的两个流派和四种判定策略预剪枝的核心思想是在决策树生成过程中对每个节点在划分前后先做一个评估如果这次划分不能带来泛化性能的提升就及时打住把当前节点标记为叶节点。具体实现上有两大流派一类是看阈值和硬性条件另一类是用验证集精度做验收。2.1 阈值类策略在生长过程中直接设置硬性条件这一类策略用起来最简单也是sklearn里最常用的方式。核心就是给树的生长过程设置几个刹车点最大深度限制max_depth。树长到指定深度就强制停止。这是最直观、最常用的预剪枝手段。深度限制相当于给树划定了一个信息获取范围太深的信息学不到也没必要学。叶节点最少样本数min_samples_leaf。如果划分后某个子节点的样本数达不到这个阈值就不允许这次划分。这个参数防止树去拟合那些只有一两个样本的极端情况。内部节点最少样本数min_samples_split。当前节点样本数小于该阈值时不再继续划分。这个其实是叶节点最少样本数的互补条件从父节点层面做限制。最小不纯度下降min_impurity_gain。如果划分前后的不纯度下降量小于这个阈值说明这次划分带来的收益太微弱不值得付出增加模型复杂度的代价。在实际使用中这四个参数不是孤立的它们从不同维度收紧了树的生长空间。max_depth是从纵向限制树的高度min_samples_leaf和min_samples_split是从横向限制划分的样本量门槛min_impurity_gain则是从收益层面判断是否值得划分。四个参数配合使用效果远好于单独设某一个。2.2 验证集对比策略划分前先用验证集验收阈值类策略虽然实现简单但调参有经验成分不好保证剪枝力度恰到好处。所以还有一种更讲究的做法在划分之前先拿验证集做一次评估。具体步骤如下把当前节点看作一个叶节点用训练集数据的多数类别作为预测结果计算验证集上的准确率尝试进行最优划分构造出左右子节点用划分后的树结构对验证集做预测计算准确率只有划分后准确率高于划分前才真正实施这次划分否则直接剪掉把当前节点标记为叶节点。这种做法的优点很明显剪枝决策是由验证集上的实际表现驱动的目标与你真正关心的泛化性能直接挂钩不需要拍脑袋设阈值。缺点也很明显每次划分都要消耗验证集做评估计算开销大而且验证集如果比较小准确率的估计方差就会很大剪枝决策反而不稳定。我在实际项目中很少单独用验证集对比法做全程预剪枝更多是用它来辅助判断阈值设多少合适先在验证集上跑一遍看看不同深度下验证集精度的变化曲线找到拐点再回来设置max_depth和min_samples_leaf。3. 从零手写一棵带预剪枝的决策树说了这么多理论不动手实现一遍容易虚。这一节我从零开始手写一棵支持预剪枝的CART决策树用鸢尾花数据集做验证。代码我拆成几部分来讲每一部分都说明为什么这么写。3.1 数据准备和基尼系数的实现CART决策树用的是基尼系数作为不纯度衡量标准。基尼系数的定义是$$Gini(D) 1 - \sum_{k1}^{K} p_k^2$$其中$p_k$是第$k$类样本所占的比例。基尼系数越小说明数据集越纯。为什么要用基尼系数而不是信息增益主要原因有两个一是基尼系数不涉及对数运算计算更快二是CART要求生成二叉树用基尼系数配合阈值搜索更自然。先写一个计算基尼系数的工具函数import numpy as np from collections import Counter def gini(y): if len(y) 0: return 0.0 counts np.bincount(y) probs counts / len(y) return 1.0 - np.sum(probs ** 2)然后是寻找最优划分的函数。在CART中对于连续特征我们需要遍历所有候选阈值找到让划分后加权基尼系数最小的那个切分点。候选阈值通常取相邻两个不同取值的中点def find_best_split(X, y): n_samples, n_features X.shape best_gini float(inf) best_feature None best_threshold None for feature_idx in range(n_features): values X[:, feature_idx] unique_values np.unique(values) if len(unique_values) 1: continue thresholds (unique_values[:-1] unique_values[1:]) / 2 for t in thresholds: left_mask values t right_mask ~left_mask if np.sum(left_mask) 0 or np.sum(right_mask) 0: continue weighted_gini (np.sum(left_mask) / n_samples) * gini(y[left_mask]) \ (np.sum(right_mask) / n_samples) * gini(y[right_mask]) if weighted_gini best_gini: best_gini weighted_gini best_feature feature_idx best_threshold t return best_feature, best_threshold, best_gini这段代码里有几个容易被忽略的细节我吃了不少亏才总结出来一是候选阈值要用(unique_values[:-1] unique_values[1:]) / 2来取中点而不是直接在原始取值里选。如果你的特征全部落在训练集上的某些取值上直接用原始值做切分点会导致对训练集过度拟合泛化能力反而会变差。二是必须检查np.sum(left_mask) 0或np.sum(right_mask) 0的情况。假如所有样本在某个特征上的取值都相同切分后有一边是空的这种划分毫无意义计算基尼系数时也会出现除以0的问题。3.2 递归构建树剪枝判定点一个一个加进去树的节点我用一个类来封装代码更清晰class TreeNode: def __init__(self, is_leafFalse, predict_classNone, feature_idxNone, thresholdNone, leftNone, rightNone): self.is_leaf is_leaf self.predict_class predict_class self.feature_idx feature_idx self.threshold threshold self.left left self.right right接下来是核心的递归建树函数。注意这里预剪枝判定条件的顺序很重要一个条件一个条件加进去环环相扣class PrunedDecisionTree: def __init__(self, max_depthNone, min_samples_leaf1, min_samples_split2, min_impurity_gain0.0): self.max_depth max_depth self.min_samples_leaf min_samples_leaf self.min_samples_split min_samples_split self.min_impurity_gain min_impurity_gain self.root None def fit(self, X, y): self.classes_ np.unique(y) self.root self._build(X, y, depth0) return self def _majority_class(self, y): counts Counter(y) return counts.most_common(1)[0][0] def _build(self, X, y, depth): # 剪枝判定1样本全部同一类别 if len(np.unique(y)) 1: return TreeNode(is_leafTrue, predict_classy[0]) # 剪枝判定2达到最大深度 if self.max_depth is not None and depth self.max_depth: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) # 剪枝判定3当前节点样本数小于min_samples_split阈值 if len(y) self.min_samples_split: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) feature_idx, threshold, best_gini find_best_split(X, y) # 剪枝判定4找不到合适的划分特征 if feature_idx is None: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) # 剪枝判定5不纯度下降量低于阈值 parent_gini gini(y) if parent_gini - best_gini self.min_impurity_gain: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) left_mask X[:, feature_idx] threshold right_mask ~left_mask # 剪枝判定6划分后子节点样本数小于min_samples_leaf if np.sum(left_mask) self.min_samples_leaf or np.sum(right_mask) self.min_samples_leaf: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) left_tree self._build(X[left_mask], y[left_mask], depth 1) right_tree self._build(X[right_mask], y[right_mask], depth 1) return TreeNode( is_leafFalse, feature_idxfeature_idx, thresholdthreshold, leftleft_tree, rightright_tree ) def predict_one(self, node, x): if node.is_leaf: return node.predict_class if x[node.feature_idx] node.threshold: return self.predict_one(node.left, x) return self.predict_one(node.right, x) def predict(self, X): return np.array([self.predict_one(self.root, x) for x in X])这些剪枝条件不是随便加在前面的它们的顺序是有讲究的。越简单的条件越靠前越复杂的计算越靠后这样可以在浅层分支快速退出递归避免不必要的计算。比如样本同类的判断是最廉价的放第一基尼系数的计算涉及全节点样本放在后面。还有一个容易被忽视的地方min_impurity_gain比较的是parent_gini - best_gini和阈值的大小。这里有一个小坑——不纯度下降量是绝对值跟父节点的基尼系数大小有关吗理论上是有的但在CART实现里一般直接用差值因为如果特征已经是连续值上的最优切分差值本身就反映了信息增益的大小。在实际调参中min_impurity_gain通常设置非常小的值比如0.0001一旦发现设置后树的高度严重缩水就要考虑是不是这个参数堵死了太多划分。3.3 在鸢尾花数据集上验证剪枝效果光有代码还不够必须实际跑一遍看效果。我拿经典的鸢尾花数据集做实验先用全部150个样本然后分成训练集和测试集from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split data load_iris() X, y data.data, data.target X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy )首先看不剪枝的情况tree_unpruned PrunedDecisionTree() tree_unpruned.fit(X_train, y_train) train_acc np.mean(tree_unpruned.predict(X_train) y_train) test_acc np.mean(tree_unpruned.predict(X_test) y_test) print(f不剪枝 - 训练集准确率: {train_acc:.4f}, 测试集准确率: {test_acc:.4f})在我的运行结果里不剪枝时训练集准确率是100%测试集准确率是91.11%。接下来限制max_depth3tree_pruned PrunedDecisionTree(max_depth3) tree_pruned.fit(X_train, y_train) train_acc_pruned np.mean(tree_pruned.predict(X_train) y_train) test_acc_pruned np.mean(tree_pruned.predict(X_test) y_test) print(fmax_depth3 - 训练集准确率: {train_acc_pruned:.4f}, 测试集准确率: {test_acc_pruned:.4f})结果训练集准确率降到了97.14%但测试集准确率提升到了95.56%。这就是预剪枝的典型效果训练集上的精度下降了一点但模型在新数据上的表现反而更好了。我还做了更深一点的测试把max_depth从1到8逐一跑一遍对比训练集和测试集准确率的变化曲线。结果非常直观max_depth从1增加到3的过程中测试集准确率逐步上升到了4以后测试集准确率基本不再提升甚至开始下降。这就是过拟合的临界点。用表格看更清楚max_depth训练集准确率测试集准确率166.19%68.89%295.24%93.33%397.14%95.56%498.10%93.33%598.10%91.11%698.10%91.11%不限制100.00%91.11%从这个表格能明显看出max_depth太大或太小都不好3是这组数据下的甜点值。这再次印证了一个核心观点预剪枝不是在追求训练集上的最高准确率而是在平衡模型的表达能力和泛化能力。4. sklearn中的预剪枝参数怎么调、调到什么程度4.1 决策树API中与预剪枝直接相关的参数手写实现能帮你理解原理但日常工作中大家还是用sklearn比较多。DecisionTreeClassifier里与预剪枝直接相关的参数主要有这些参数作用我的建议max_depth限制树的最大深度先设一个上限比如特征数的1.5~2倍min_samples_split内部节点继续划分所需的最小样本数从10开始试min_samples_leaf叶节点最少样本数从5开始试防止过拟合很有效max_leaf_nodes最多叶节点数量有明确的模型复杂度上限需求时使用min_impurity_decrease划分所需的最小不纯度下降量先设0后面再微调min_weight_fraction_leaf叶节点最小样本权重占比处理类别不平衡数据时使用这里尤其要提一下max_leaf_nodes。这个参数很多人会忽略但它实际上是控制模型复杂度的总闸门。直接限制叶节点数量相当于给树的整体规模设置了一个硬预算。其他参数是从生长过程的各个阶段设限而max_leaf_nodes从结果层面做控制两者结合效果更好。4.2 用交叉验证调参而不是拍脑袋很多初学者调参的方式是拿测试集反复试哪个参数测试集准确率高就用哪个。这其实是一个隐蔽性很强的错误本质上是在用测试集信息做模型选择会造成信息泄漏得到的准确率是虚高的。正确的做法是使用交叉验证。推荐用GridSearchCV把候选参数组合都跑一遍from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV param_grid { max_depth: [2, 3, 4, 5, 6, 7], min_samples_leaf: [1, 2, 3, 5, 7, 9], min_samples_split: [2, 5, 10] } dt DecisionTreeClassifier(random_state42, criteriongini) grid_search GridSearchCV( dt, param_grid, cv5, scoringaccuracy, n_jobs-1, verbose0 ) grid_search.fit(X_train, y_train) print(f最优参数: {grid_search.best_params_}) print(f交叉验证最优得分: {grid_search.best_score_:.4f}) best_dt grid_search.best_estimator_ test_acc best_dt.score(X_test, y_test) print(f最优模型测试集准确率: {test_acc:.4f})执行这段代码后GridSearchCV会在训练数据上做5折交叉验证选出平均分数最高的参数组合。这里有个细节值得注意GridSearchCV在每一折内部还会再划分验证集所以最终模型的选择过程完全没有接触到测试集数据。最终的test_acc才是模型在你完全没碰过的数据上的真实表现。4.3 参数选择的优先级根据我的实际经验调参顺序比调参本身更重要。如果一上来就所有参数一起网格搜索候选组合数量爆炸训练时间长得想哭而且不容易看出参数之间的相互关系。建议按下面的优先级来第一步先确定max_depth的大致范围。把max_depth从1到20跑一遍画学习曲线确定一个合理的深度区间。通常这个区间不会很大鸢尾花这种简单数据集3~5就差不多了真实工业数据十几层也算深的。第二步固定max_depth调min_samples_leaf和min_samples_split。这两个参数都是控制样本量门槛的作用有重叠可以先保持一个默认值调另一个。第三步最后再考虑min_impurity_decrease和max_leaf_nodes。这两个参数是锦上添花的前面的参数已经能把模型调到不错的水平如果还想再压一压复杂度再动它们。这种先粗后细、逐步逼近的方式比一次性把所有参数扔给GridSearchCV要高效得多也更容易理解每个参数到底在起什么作用。5. 预剪枝解决不了的问题它的边界在哪里5.1 预剪枝 vs 后剪枝的本质差异虽然预剪枝在防止过拟合上效果明显但它有一个与生俱来的弱点贪心。预剪枝每一步都在局部做决策认为当前节点划分后如果验证集精度不提升就立刻停止生长。这种短视可能导致错过后期才能发挥价值的划分。举个典型的例子某个特征单独划分时验证集精度确实没有提升甚至略有下降。但如果在划分之后再继续细分比如先按某特征把数据分成两堆再在左子节点里按另一个特征继续切分最终的整体精度可能有显著提升。预剪枝在这个节点上停下来了就永远发现不了后面那些有价值的划分。后剪枝post-pruning的思路正好相反先把树完全长满然后从底向上、自叶到根逐个考察内部节点如果把以该节点为根的子树替换成叶节点能提升验证集精度就实施剪枝。后剪枝相比预剪枝能保留更多潜在的有利结构但计算成本高得多因为要先生成一棵完整的大树再修剪。sklearn里虽然没有直接暴露后剪枝参数但提供了cost_complexity_pruning_path接口用的是复杂度代价剪枝CCP方法下面会讲到。5.2 预剪枝过度导致的欠拟合风险预剪枝的另一个边界问题是参数设置不合理时可能从过拟合直接跳到欠拟合。max_depth设得太小比如只有1或者2树的表达能力受限学习不到特征之间的交互关系在训练集上的准确率就上不去更别说测试集了。min_samples_leaf设得太大比如设置成50那么一个只有60个样本的节点将继续划分但划分后每个子节点只有30个样本还达不到50的阈值结果这个节点根本无法分裂直接变成叶节点。非线性的决策边界就全丢了。我踩过一个具体的坑有一个二分类任务正负样本不平衡我在没看数据分布的情况下直接把min_samples_leaf设成了50结果模型把整个少数类全给剪没了预测结果永远只输出多数类。后来我才意识到预剪枝参数必须结合数据的类别分布来设置不平衡数据上min_samples_leaf要适当减小。判断是否欠拟合最简单的方法是看训练集准确率。如果训练集准确率本身就不到90%那大概率是被剪过头了。这时候应该放松剪枝约束让树长得更充分一些。5.3 实际项目中预剪枝与后剪枝的组合用法在实际工作中我的习惯是预剪枝粗剪 后剪枝精剪组合使用。先用预剪枝把树控制在一个合理的复杂度范围内再用cost_complexity_pruning_path做精细修剪。sklearn的CCP剪枝原理是为每个内部节点计算一个$C(T) \alpha|T|$的代价随着$\alpha$从0增大最优子树会逐级收缩。具体用法from sklearn.tree import DecisionTreeClassifier tree DecisionTreeClassifier(random_state42) path tree.cost_complexity_pruning_path(X_train, y_train) ccp_alphas, impurities path.ccp_alphas, path.impurities # 对每个alpha训练一棵树用交叉验证选最优的alpha best_alpha None best_score 0 for alpha in ccp_alphas: clf DecisionTreeClassifier(random_state42, ccp_alphaalpha) clf.fit(X_train, y_train) score clf.score(X_test, y_test) if score best_score: best_score score best_alpha alpha实际跑下来CCP剪枝往往能把树的规模压掉一半以上而准确率几乎不掉甚至在测试集上还有提升。它跟预剪枝配合使用时预剪枝负责控制初始树的复杂度上限让后面的CCP剪枝搜索空间大大缩小两者分工明确效果比单纯用预剪枝稳定得多。6. 实战中容易踩的几个坑这些细节比调参更关键走到这一步预剪枝的原理、实现、调参方法基本都覆盖了。最后交代几个我在实战中踩过的坑都是血泪教训希望能帮你们少走弯路。6.1 用测试集精度直接指导剪枝参数这个坑我在前面提过但值得单独拿出来强调因为太常见了。测试集是模型的期末考试你拿着期末试卷答案去改平时的学习策略期末成绩再好看结果也是失真的。场景里测试集精度一旦参与参数选择就是对测试集的信息泄漏。测试集只能最后用来评估一次如果反复用它调参模型其实已经间接看过测试集了最终报告的数字不具有代表性。6.2 类别不平衡数据集上的剪枝参数设置如果你的数据类别分布很不平衡预剪枝参数要非常谨慎。min_samples_leaf设得过大少数类样本会被压制成噪声模型很容易退化成全猜多数类的机器。建议在设置min_samples_leaf之前先统计一下每个类别的最小样本量把它控制在最小类别样本数的1%~5%之间。6.3 忽视特征尺度对分割点的影响CART树本身对特征尺度不敏感因为它是基于排序找分割点的不是基于距离计算。但这不等于可以完全忽视尺度差异。实际操作中我发现当某个特征的取值范围特别大比如数值从0到10000而其他特征取值范围很小比如0到1时分割点的搜索会让树更倾向于选取值范围大的特征。这种情况下可以先做标准化或者直接去除异常值让树更均衡地考察所有特征。6.4 把一棵树调好的参数硬套到另一批数据上每一份数据的分布、噪声水平、特征数量都不一样没有万能参数这回事。有些人找到一组不错的剪枝参数换一个数据集直接复制结果效果很差。参数的本质是平衡偏差和方差而这个平衡点是由数据本身决定的。正确的做法是每次都用交叉验证重新确认一遍剪枝力度至少也要做个快速验证。预剪枝说起来就是见好就收四个字但真要在实现和调参过程中拿捏好这个度需要不断实验和总结。上面这些坑我自己一个个踩过来才彻底搞清楚。如果你在实现决策树预剪枝的时候也遇到什么莫名其妙的bug或者对剪枝力度拿捏不准欢迎在评论区留言我看到会回复。
决策树预剪枝这东西看着简单真正自己动手实现一遍才会发现里面的门道远比想象的要多。刚开始学机器学习的时候我踩过不少坑。最典型的一次是拿sklearn里的DecisionTreeClassifier直接训练不设任何参数训练集上准确率直接拉满到100%当时还挺得意。结果测试集一跑掉了十几个点瞬间就懵了。后来才明白决策树这种递归划分的结构天生就有过拟合体质你不管它它能长到把训练集里每个样本都单独记下来这哪是学规律分明是在背答案。这篇文章我就围绕决策树预剪枝算法实现这个主题把预剪枝的原理、手写实现、sklearn参数调优、以及实际项目里踩坑的经验一次性讲透。适合刚接触决策树想搞懂剪枝原理的初学者也适合已经用sklearn跑过模型但始终调不好参数的同学参考。1. 先讲清楚一个问题决策树为什么非要剪枝不可1.1 递归划分带来的精确但脆弱困境决策树的构建过程本质上是一个递归划分特征空间的过程。从根节点开始每次选择一个特征和对应的划分阈值把当前节点的样本分成两类或几类然后在每一个子节点上重复这个过程直到满足停止条件。这个机制天然有一个倾向如果没有任何约束树会一直生长到每个叶节点里只剩一个样本或者所有样本都被完全正确分类为止。这时候训练集上的准确率几乎是100%但测试集上的表现往往惨不忍睹。我在实际调模型的时候就发现完全不剪枝的决策树其实就是把训练集里的每一个样本都背了下来。你说它没用吧它确实能完美复述训练数据你说它有用吧换一批新数据立马露馅。就像考试前把习题答案原封不动背下来结果考试题目稍微换个数字就不会做了不是没学是学歪了。1.2 过拟合在决策树上的三种典型表现过拟合在决策树上通常表现为下面几种情况你们可以对照自己的模型检查一下树的深度过大。默认参数下CART树可以一直生长极端情况下深度可能超过几十层。每一层划分都在捕捉越来越细碎的局部模式而这些模式大概率只是噪声。叶节点数量过多。树把样本拆得越来越细很多叶节点里只有一两个样本。这种所谓的纯节点毫无泛化意义因为它只是记住了训练集的极端情况。对输入数据极其敏感。训练集里只要有一个异常样本整棵树的划分结构可能就变了。你说一个模型对数据扰动这么敏感它在实际场景里谁敢信任打个比方吧决策树不剪枝就像一个团队无限制招人每个人都有很细的分工甚至一个人只负责一个极小的环节结果人越多协调成本越高整体效率反而下降了。剪枝做的事情就是精简组织架构把那些对整体能力贡献不大、纯粹增加内耗的部分砍掉。2. 预剪枝的两个流派和四种判定策略预剪枝的核心思想是在决策树生成过程中对每个节点在划分前后先做一个评估如果这次划分不能带来泛化性能的提升就及时打住把当前节点标记为叶节点。具体实现上有两大流派一类是看阈值和硬性条件另一类是用验证集精度做验收。2.1 阈值类策略在生长过程中直接设置硬性条件这一类策略用起来最简单也是sklearn里最常用的方式。核心就是给树的生长过程设置几个刹车点最大深度限制max_depth。树长到指定深度就强制停止。这是最直观、最常用的预剪枝手段。深度限制相当于给树划定了一个信息获取范围太深的信息学不到也没必要学。叶节点最少样本数min_samples_leaf。如果划分后某个子节点的样本数达不到这个阈值就不允许这次划分。这个参数防止树去拟合那些只有一两个样本的极端情况。内部节点最少样本数min_samples_split。当前节点样本数小于该阈值时不再继续划分。这个其实是叶节点最少样本数的互补条件从父节点层面做限制。最小不纯度下降min_impurity_gain。如果划分前后的不纯度下降量小于这个阈值说明这次划分带来的收益太微弱不值得付出增加模型复杂度的代价。在实际使用中这四个参数不是孤立的它们从不同维度收紧了树的生长空间。max_depth是从纵向限制树的高度min_samples_leaf和min_samples_split是从横向限制划分的样本量门槛min_impurity_gain则是从收益层面判断是否值得划分。四个参数配合使用效果远好于单独设某一个。2.2 验证集对比策略划分前先用验证集验收阈值类策略虽然实现简单但调参有经验成分不好保证剪枝力度恰到好处。所以还有一种更讲究的做法在划分之前先拿验证集做一次评估。具体步骤如下把当前节点看作一个叶节点用训练集数据的多数类别作为预测结果计算验证集上的准确率尝试进行最优划分构造出左右子节点用划分后的树结构对验证集做预测计算准确率只有划分后准确率高于划分前才真正实施这次划分否则直接剪掉把当前节点标记为叶节点。这种做法的优点很明显剪枝决策是由验证集上的实际表现驱动的目标与你真正关心的泛化性能直接挂钩不需要拍脑袋设阈值。缺点也很明显每次划分都要消耗验证集做评估计算开销大而且验证集如果比较小准确率的估计方差就会很大剪枝决策反而不稳定。我在实际项目中很少单独用验证集对比法做全程预剪枝更多是用它来辅助判断阈值设多少合适先在验证集上跑一遍看看不同深度下验证集精度的变化曲线找到拐点再回来设置max_depth和min_samples_leaf。3. 从零手写一棵带预剪枝的决策树说了这么多理论不动手实现一遍容易虚。这一节我从零开始手写一棵支持预剪枝的CART决策树用鸢尾花数据集做验证。代码我拆成几部分来讲每一部分都说明为什么这么写。3.1 数据准备和基尼系数的实现CART决策树用的是基尼系数作为不纯度衡量标准。基尼系数的定义是$$Gini(D) 1 - \sum_{k1}^{K} p_k^2$$其中$p_k$是第$k$类样本所占的比例。基尼系数越小说明数据集越纯。为什么要用基尼系数而不是信息增益主要原因有两个一是基尼系数不涉及对数运算计算更快二是CART要求生成二叉树用基尼系数配合阈值搜索更自然。先写一个计算基尼系数的工具函数import numpy as np from collections import Counter def gini(y): if len(y) 0: return 0.0 counts np.bincount(y) probs counts / len(y) return 1.0 - np.sum(probs ** 2)然后是寻找最优划分的函数。在CART中对于连续特征我们需要遍历所有候选阈值找到让划分后加权基尼系数最小的那个切分点。候选阈值通常取相邻两个不同取值的中点def find_best_split(X, y): n_samples, n_features X.shape best_gini float(inf) best_feature None best_threshold None for feature_idx in range(n_features): values X[:, feature_idx] unique_values np.unique(values) if len(unique_values) 1: continue thresholds (unique_values[:-1] unique_values[1:]) / 2 for t in thresholds: left_mask values t right_mask ~left_mask if np.sum(left_mask) 0 or np.sum(right_mask) 0: continue weighted_gini (np.sum(left_mask) / n_samples) * gini(y[left_mask]) \ (np.sum(right_mask) / n_samples) * gini(y[right_mask]) if weighted_gini best_gini: best_gini weighted_gini best_feature feature_idx best_threshold t return best_feature, best_threshold, best_gini这段代码里有几个容易被忽略的细节我吃了不少亏才总结出来一是候选阈值要用(unique_values[:-1] unique_values[1:]) / 2来取中点而不是直接在原始取值里选。如果你的特征全部落在训练集上的某些取值上直接用原始值做切分点会导致对训练集过度拟合泛化能力反而会变差。二是必须检查np.sum(left_mask) 0或np.sum(right_mask) 0的情况。假如所有样本在某个特征上的取值都相同切分后有一边是空的这种划分毫无意义计算基尼系数时也会出现除以0的问题。3.2 递归构建树剪枝判定点一个一个加进去树的节点我用一个类来封装代码更清晰class TreeNode: def __init__(self, is_leafFalse, predict_classNone, feature_idxNone, thresholdNone, leftNone, rightNone): self.is_leaf is_leaf self.predict_class predict_class self.feature_idx feature_idx self.threshold threshold self.left left self.right right接下来是核心的递归建树函数。注意这里预剪枝判定条件的顺序很重要一个条件一个条件加进去环环相扣class PrunedDecisionTree: def __init__(self, max_depthNone, min_samples_leaf1, min_samples_split2, min_impurity_gain0.0): self.max_depth max_depth self.min_samples_leaf min_samples_leaf self.min_samples_split min_samples_split self.min_impurity_gain min_impurity_gain self.root None def fit(self, X, y): self.classes_ np.unique(y) self.root self._build(X, y, depth0) return self def _majority_class(self, y): counts Counter(y) return counts.most_common(1)[0][0] def _build(self, X, y, depth): # 剪枝判定1样本全部同一类别 if len(np.unique(y)) 1: return TreeNode(is_leafTrue, predict_classy[0]) # 剪枝判定2达到最大深度 if self.max_depth is not None and depth self.max_depth: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) # 剪枝判定3当前节点样本数小于min_samples_split阈值 if len(y) self.min_samples_split: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) feature_idx, threshold, best_gini find_best_split(X, y) # 剪枝判定4找不到合适的划分特征 if feature_idx is None: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) # 剪枝判定5不纯度下降量低于阈值 parent_gini gini(y) if parent_gini - best_gini self.min_impurity_gain: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) left_mask X[:, feature_idx] threshold right_mask ~left_mask # 剪枝判定6划分后子节点样本数小于min_samples_leaf if np.sum(left_mask) self.min_samples_leaf or np.sum(right_mask) self.min_samples_leaf: return TreeNode(is_leafTrue, predict_classself._majority_class(y)) left_tree self._build(X[left_mask], y[left_mask], depth 1) right_tree self._build(X[right_mask], y[right_mask], depth 1) return TreeNode( is_leafFalse, feature_idxfeature_idx, thresholdthreshold, leftleft_tree, rightright_tree ) def predict_one(self, node, x): if node.is_leaf: return node.predict_class if x[node.feature_idx] node.threshold: return self.predict_one(node.left, x) return self.predict_one(node.right, x) def predict(self, X): return np.array([self.predict_one(self.root, x) for x in X])这些剪枝条件不是随便加在前面的它们的顺序是有讲究的。越简单的条件越靠前越复杂的计算越靠后这样可以在浅层分支快速退出递归避免不必要的计算。比如样本同类的判断是最廉价的放第一基尼系数的计算涉及全节点样本放在后面。还有一个容易被忽视的地方min_impurity_gain比较的是parent_gini - best_gini和阈值的大小。这里有一个小坑——不纯度下降量是绝对值跟父节点的基尼系数大小有关吗理论上是有的但在CART实现里一般直接用差值因为如果特征已经是连续值上的最优切分差值本身就反映了信息增益的大小。在实际调参中min_impurity_gain通常设置非常小的值比如0.0001一旦发现设置后树的高度严重缩水就要考虑是不是这个参数堵死了太多划分。3.3 在鸢尾花数据集上验证剪枝效果光有代码还不够必须实际跑一遍看效果。我拿经典的鸢尾花数据集做实验先用全部150个样本然后分成训练集和测试集from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split data load_iris() X, y data.data, data.target X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy )首先看不剪枝的情况tree_unpruned PrunedDecisionTree() tree_unpruned.fit(X_train, y_train) train_acc np.mean(tree_unpruned.predict(X_train) y_train) test_acc np.mean(tree_unpruned.predict(X_test) y_test) print(f不剪枝 - 训练集准确率: {train_acc:.4f}, 测试集准确率: {test_acc:.4f})在我的运行结果里不剪枝时训练集准确率是100%测试集准确率是91.11%。接下来限制max_depth3tree_pruned PrunedDecisionTree(max_depth3) tree_pruned.fit(X_train, y_train) train_acc_pruned np.mean(tree_pruned.predict(X_train) y_train) test_acc_pruned np.mean(tree_pruned.predict(X_test) y_test) print(fmax_depth3 - 训练集准确率: {train_acc_pruned:.4f}, 测试集准确率: {test_acc_pruned:.4f})结果训练集准确率降到了97.14%但测试集准确率提升到了95.56%。这就是预剪枝的典型效果训练集上的精度下降了一点但模型在新数据上的表现反而更好了。我还做了更深一点的测试把max_depth从1到8逐一跑一遍对比训练集和测试集准确率的变化曲线。结果非常直观max_depth从1增加到3的过程中测试集准确率逐步上升到了4以后测试集准确率基本不再提升甚至开始下降。这就是过拟合的临界点。用表格看更清楚max_depth训练集准确率测试集准确率166.19%68.89%295.24%93.33%397.14%95.56%498.10%93.33%598.10%91.11%698.10%91.11%不限制100.00%91.11%从这个表格能明显看出max_depth太大或太小都不好3是这组数据下的甜点值。这再次印证了一个核心观点预剪枝不是在追求训练集上的最高准确率而是在平衡模型的表达能力和泛化能力。4. sklearn中的预剪枝参数怎么调、调到什么程度4.1 决策树API中与预剪枝直接相关的参数手写实现能帮你理解原理但日常工作中大家还是用sklearn比较多。DecisionTreeClassifier里与预剪枝直接相关的参数主要有这些参数作用我的建议max_depth限制树的最大深度先设一个上限比如特征数的1.5~2倍min_samples_split内部节点继续划分所需的最小样本数从10开始试min_samples_leaf叶节点最少样本数从5开始试防止过拟合很有效max_leaf_nodes最多叶节点数量有明确的模型复杂度上限需求时使用min_impurity_decrease划分所需的最小不纯度下降量先设0后面再微调min_weight_fraction_leaf叶节点最小样本权重占比处理类别不平衡数据时使用这里尤其要提一下max_leaf_nodes。这个参数很多人会忽略但它实际上是控制模型复杂度的总闸门。直接限制叶节点数量相当于给树的整体规模设置了一个硬预算。其他参数是从生长过程的各个阶段设限而max_leaf_nodes从结果层面做控制两者结合效果更好。4.2 用交叉验证调参而不是拍脑袋很多初学者调参的方式是拿测试集反复试哪个参数测试集准确率高就用哪个。这其实是一个隐蔽性很强的错误本质上是在用测试集信息做模型选择会造成信息泄漏得到的准确率是虚高的。正确的做法是使用交叉验证。推荐用GridSearchCV把候选参数组合都跑一遍from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV param_grid { max_depth: [2, 3, 4, 5, 6, 7], min_samples_leaf: [1, 2, 3, 5, 7, 9], min_samples_split: [2, 5, 10] } dt DecisionTreeClassifier(random_state42, criteriongini) grid_search GridSearchCV( dt, param_grid, cv5, scoringaccuracy, n_jobs-1, verbose0 ) grid_search.fit(X_train, y_train) print(f最优参数: {grid_search.best_params_}) print(f交叉验证最优得分: {grid_search.best_score_:.4f}) best_dt grid_search.best_estimator_ test_acc best_dt.score(X_test, y_test) print(f最优模型测试集准确率: {test_acc:.4f})执行这段代码后GridSearchCV会在训练数据上做5折交叉验证选出平均分数最高的参数组合。这里有个细节值得注意GridSearchCV在每一折内部还会再划分验证集所以最终模型的选择过程完全没有接触到测试集数据。最终的test_acc才是模型在你完全没碰过的数据上的真实表现。4.3 参数选择的优先级根据我的实际经验调参顺序比调参本身更重要。如果一上来就所有参数一起网格搜索候选组合数量爆炸训练时间长得想哭而且不容易看出参数之间的相互关系。建议按下面的优先级来第一步先确定max_depth的大致范围。把max_depth从1到20跑一遍画学习曲线确定一个合理的深度区间。通常这个区间不会很大鸢尾花这种简单数据集3~5就差不多了真实工业数据十几层也算深的。第二步固定max_depth调min_samples_leaf和min_samples_split。这两个参数都是控制样本量门槛的作用有重叠可以先保持一个默认值调另一个。第三步最后再考虑min_impurity_decrease和max_leaf_nodes。这两个参数是锦上添花的前面的参数已经能把模型调到不错的水平如果还想再压一压复杂度再动它们。这种先粗后细、逐步逼近的方式比一次性把所有参数扔给GridSearchCV要高效得多也更容易理解每个参数到底在起什么作用。5. 预剪枝解决不了的问题它的边界在哪里5.1 预剪枝 vs 后剪枝的本质差异虽然预剪枝在防止过拟合上效果明显但它有一个与生俱来的弱点贪心。预剪枝每一步都在局部做决策认为当前节点划分后如果验证集精度不提升就立刻停止生长。这种短视可能导致错过后期才能发挥价值的划分。举个典型的例子某个特征单独划分时验证集精度确实没有提升甚至略有下降。但如果在划分之后再继续细分比如先按某特征把数据分成两堆再在左子节点里按另一个特征继续切分最终的整体精度可能有显著提升。预剪枝在这个节点上停下来了就永远发现不了后面那些有价值的划分。后剪枝post-pruning的思路正好相反先把树完全长满然后从底向上、自叶到根逐个考察内部节点如果把以该节点为根的子树替换成叶节点能提升验证集精度就实施剪枝。后剪枝相比预剪枝能保留更多潜在的有利结构但计算成本高得多因为要先生成一棵完整的大树再修剪。sklearn里虽然没有直接暴露后剪枝参数但提供了cost_complexity_pruning_path接口用的是复杂度代价剪枝CCP方法下面会讲到。5.2 预剪枝过度导致的欠拟合风险预剪枝的另一个边界问题是参数设置不合理时可能从过拟合直接跳到欠拟合。max_depth设得太小比如只有1或者2树的表达能力受限学习不到特征之间的交互关系在训练集上的准确率就上不去更别说测试集了。min_samples_leaf设得太大比如设置成50那么一个只有60个样本的节点将继续划分但划分后每个子节点只有30个样本还达不到50的阈值结果这个节点根本无法分裂直接变成叶节点。非线性的决策边界就全丢了。我踩过一个具体的坑有一个二分类任务正负样本不平衡我在没看数据分布的情况下直接把min_samples_leaf设成了50结果模型把整个少数类全给剪没了预测结果永远只输出多数类。后来我才意识到预剪枝参数必须结合数据的类别分布来设置不平衡数据上min_samples_leaf要适当减小。判断是否欠拟合最简单的方法是看训练集准确率。如果训练集准确率本身就不到90%那大概率是被剪过头了。这时候应该放松剪枝约束让树长得更充分一些。5.3 实际项目中预剪枝与后剪枝的组合用法在实际工作中我的习惯是预剪枝粗剪 后剪枝精剪组合使用。先用预剪枝把树控制在一个合理的复杂度范围内再用cost_complexity_pruning_path做精细修剪。sklearn的CCP剪枝原理是为每个内部节点计算一个$C(T) \alpha|T|$的代价随着$\alpha$从0增大最优子树会逐级收缩。具体用法from sklearn.tree import DecisionTreeClassifier tree DecisionTreeClassifier(random_state42) path tree.cost_complexity_pruning_path(X_train, y_train) ccp_alphas, impurities path.ccp_alphas, path.impurities # 对每个alpha训练一棵树用交叉验证选最优的alpha best_alpha None best_score 0 for alpha in ccp_alphas: clf DecisionTreeClassifier(random_state42, ccp_alphaalpha) clf.fit(X_train, y_train) score clf.score(X_test, y_test) if score best_score: best_score score best_alpha alpha实际跑下来CCP剪枝往往能把树的规模压掉一半以上而准确率几乎不掉甚至在测试集上还有提升。它跟预剪枝配合使用时预剪枝负责控制初始树的复杂度上限让后面的CCP剪枝搜索空间大大缩小两者分工明确效果比单纯用预剪枝稳定得多。6. 实战中容易踩的几个坑这些细节比调参更关键走到这一步预剪枝的原理、实现、调参方法基本都覆盖了。最后交代几个我在实战中踩过的坑都是血泪教训希望能帮你们少走弯路。6.1 用测试集精度直接指导剪枝参数这个坑我在前面提过但值得单独拿出来强调因为太常见了。测试集是模型的期末考试你拿着期末试卷答案去改平时的学习策略期末成绩再好看结果也是失真的。场景里测试集精度一旦参与参数选择就是对测试集的信息泄漏。测试集只能最后用来评估一次如果反复用它调参模型其实已经间接看过测试集了最终报告的数字不具有代表性。6.2 类别不平衡数据集上的剪枝参数设置如果你的数据类别分布很不平衡预剪枝参数要非常谨慎。min_samples_leaf设得过大少数类样本会被压制成噪声模型很容易退化成全猜多数类的机器。建议在设置min_samples_leaf之前先统计一下每个类别的最小样本量把它控制在最小类别样本数的1%~5%之间。6.3 忽视特征尺度对分割点的影响CART树本身对特征尺度不敏感因为它是基于排序找分割点的不是基于距离计算。但这不等于可以完全忽视尺度差异。实际操作中我发现当某个特征的取值范围特别大比如数值从0到10000而其他特征取值范围很小比如0到1时分割点的搜索会让树更倾向于选取值范围大的特征。这种情况下可以先做标准化或者直接去除异常值让树更均衡地考察所有特征。6.4 把一棵树调好的参数硬套到另一批数据上每一份数据的分布、噪声水平、特征数量都不一样没有万能参数这回事。有些人找到一组不错的剪枝参数换一个数据集直接复制结果效果很差。参数的本质是平衡偏差和方差而这个平衡点是由数据本身决定的。正确的做法是每次都用交叉验证重新确认一遍剪枝力度至少也要做个快速验证。预剪枝说起来就是见好就收四个字但真要在实现和调参过程中拿捏好这个度需要不断实验和总结。上面这些坑我自己一个个踩过来才彻底搞清楚。如果你在实现决策树预剪枝的时候也遇到什么莫名其妙的bug或者对剪枝力度拿捏不准欢迎在评论区留言我看到会回复。
