从剪辑中构建决策树:一个初学者的编码教程

清除数据:处理缺失值、删除重复数据并确保数字类型。 决策树可以处理混合数据类型,但我们会坚持数字执行。

2. 定义分块标准函数

我们将实施基尼杂质。

其中p i是类i中项目的比例。对于二进制分割,总体基尼是子节点的加权平均值。

3. 实施分块评价

对每个特性, 排序独有的值。 测试每个可能的阈值( 连续排序值之间的中间点)。 对于每个候选阈值, 将数据分为左右组, 计算吉尼, 并跟踪最佳的分割 。

4. 依次建设树木

创建一个需要子集数据和当前深度的函数。它检查停止条件(例如最大深度、每个节点的最小样本,或者没有信息收益)。如果满足了条件,则创建一个带有多数类的叶节点。否则,找到最佳的分解并创建一个内部节点,然后在左右分解时循环调用函数。

5. 作出预测

树建成后,预测是直截了当的:从根开始,通过对新样品的特征测试来跟踪树枝,并返回你降落在叶子上的值.

在 Python 中全面实施

下面是使用基尼杂质分类的完整、最小的操作决策树。 这个代码是用于学习的 — — 并不是用于大数据集的优化。

import numpy as np
from collections import Counter

class DecisionTree:
 def __init__(self, max_depth=None, min_samples_split=2):
 self.max_depth = max_depth
 self.min_samples_split = min_samples_split
 self.tree = None

 def fit(self, X, y):
 dataset = np.column_stack((X, y))
 self.tree = self._grow_tree(dataset)

 def _grow_tree(self, dataset, depth=0):
 X, y = dataset[:, :-1], dataset[:, -1]
 n_samples, n_features = X.shape
 n_labels = len(np.unique(y))

 # Stopping conditions
 if (n_labels == 1 or depth == self.max_depth or n_samples < self.min_samples_split):
 leaf_value = Counter(y).most_common(1)[0][0]
 return {'leaf': True, 'value': leaf_value}

 best_feature, best_threshold = self._best_split(dataset, n_features)
 if best_feature is None:
 leaf_value = Counter(y).most_common(1)[0][0]
 return {'leaf': True, 'value': leaf_value}

 left_idx, right_idx = self._split(dataset[:, best_feature], best_threshold)
 left_subtree = self._grow_tree(dataset[left_idx], depth+1)
 right_subtree = self._grow_tree(dataset[right_idx], depth+1)
 return {'leaf': False,
 'feature': best_feature,
 'threshold': best_threshold,
 'left': left_subtree,
 'right': right_subtree}

 def _best_split(self, dataset, n_features):
 best_gini = float('inf')
 best_feature, best_threshold = None, None
 for feature in range(n_features):
 thresholds = np.unique(dataset[:, feature])
 for i in range(len(thresholds)-1):
 thresh = (thresholds[i] + thresholds[i+1]) / 2
 left_idx, right_idx = self._split(dataset[:, feature], thresh)
 if len(left_idx) == 0 or len(right_idx) == 0:
 continue
 gini = self._gini_gain(dataset, left_idx, right_idx)
 if gini < best_gini:
 best_gini = gini
 best_feature = feature
 best_threshold = thresh
 return best_feature, best_threshold

 def _split(self, values, threshold):
 left_idx = np.where(values <= threshold)[0]
 right_idx = np.where(values > threshold)[0]
 return left_idx, right_idx

 def _gini_gain(self, dataset, left_idx, right_idx):
 total = len(left_idx) + len(right_idx)
 gini_left = self._gini(dataset[left_idx, -1])
 gini_right = self._gini(dataset[right_idx, -1])
 return (len(left_idx)/total) * gini_left + (len(right_idx)/total) * gini_right

 def _gini(self, labels):
 _, counts = np.unique(labels, return_counts=True)
 p = counts / np.sum(counts)
 return 1 - np.sum(p**2)

 def predict(self, X):
 return np.array([self._predict_row(x, self.tree) for x in X])

 def _predict_row(self, x, node):
 if node['leaf']:
 return node['value']
 if x[node['feature']] <= node['threshold']:
 return self._predict_row(x, node['left'])
 else:
 return self._predict_row(x, node['right'])

测试树

使用一个简单的数据集, 如经典的 iris 数据集( 二进制分类有两个功能 ) 。 [[ FLT: 0]] 的 scikit liarn Iris 数据集 [[ [FLT: 1]] 效果良好 。 将您的树的准确性与 scikit liarn 的 [ [FLT: 2] 比较以验证正确性 。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

data = load_iris()
X = data.data[:100] # take only first two classes (binary)
y = data.target[:100]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

tree = DecisionTree(max_depth=3)
tree.fit(X_train, y_train)
preds = tree.predict(X_test)
accuracy = np.mean(preds == y_test)
print(f'Accuracy: {accuracy:.2f}')

改进树种的高级技术

运行以避免过度配齐

完全生长的树可以记忆训练数据中的噪音。 运行会清除没有预测力的树枝。 常见的方法包括: 预 + 运行( 通过 或 [ [FLT: 5] 提前停止生长) 和 后 + 运行( 生长全树然后使用验证集或成本+ 复杂度 运行去除树枝)。 我们的执行已经支持预 + 运行 。

处理连续和分类特征

对于连续特性,我们使用排序值之间的中点作为阈值。对于绝对特性(例如“Color = 红/绿/蓝”),每个类别都可以成为单独的分支(multil-way division)或者可以二进制编码它们。大多数现代执行(如 scikit-learn)甚至通过评价所有子集来使用二进制分割来进行绝对特性。

处理缺失值

Real world 数据往往有缺失值。一个简单的方法就是在具有该特征的训练样本中指定最频繁的分支缺失值。C4.5 使用概率法。由于这是一个初学者的教程,我们假设数据是完整的。

与图书馆和进一步阅读的比较

虽然从零开始建设是教育性的,但生产系统使用图书馆,如提供优化C执行的sikit ⁇ learn。您可以从官方[]sikit ⁇ learn决策树文献中学习更多。对于更深入的理论,Hastie,Tibshirani和Friedman的著作“统计学习要素”是一个权威资源。另一个极好的参考文献是Breiman等人的CART原始书。