Comprendre les limites des arbres décisionnels dans les données à haute dimension

Comprendre les limites des arbres décisionnels dans les données à haute dimension

Les arbres de décision sont parmi les algorithmes d'apprentissage automatique les plus utilisés en raison de leur structure intuitive et de leur facilité d'interprétation. Ils divisent l'espace de caractéristiques en régions basées sur des règles de décision simples, les rendant adaptés à la fois pour les tâches de classification et de régression. Dans des domaines comme les finances, les soins de santé et le marketing, les arbres de décision servent de modèles de base et sont souvent favorisés par leur transparence. Cependant, à mesure que les ensembles de données deviennent complexes, notamment en termes de nombre de caractéristiques, les arbres de décision commencent à présenter des faiblesses importantes.

Qu'est-ce que les données à haute dimension?

Les données à haute dimension se rapportent à des ensembles de données contenant un grand nombre de caractéristiques ou de variables, dépassant souvent le nombre d'observations. Dans ces paramètres, l'espace de caractéristiques devient extrêmement clairs, ce qui rend difficile pour tout modèle de généraliser bien. Par exemple, un ensemble de données génomiques peut mesurer les niveaux d'expression de milliers de gènes sur seulement quelques centaines d'échantillons.

Le défi central avec les données à haute dimension est la malédiction de dimensionnalité, un terme inventé par Richard Bellman en 1961. À mesure que le nombre de caractéristiques augmente, le volume de l'espace de caractéristiques augmente de façon exponentielle, et les points de données deviennent de plus en plus isolés les uns des autres. Cette sparosité fait perdre leur pouvoir discriminatoire aux mesures de distance, phénomène connu sous le nom de concentration de distance.

De nombreuses caractéristiques peuvent être corrélées ou ne pas contenir d'informations utiles pour la variable cible. Cela peut induire en erreur les algorithmes d'apprentissage, en particulier les arbres de décision qui sélectionnent avidement les scissions en fonction de critères locaux. La combinaison de la sparté, du bruit et des dimensions non pertinentes crée un terrain fertile pour l'ajustement excessif et la généralisation médiocre.

Limites fondamentales des arbres décisionnels dans les espaces de haute dimension

Surfiting et le compromis entre les prix de la biais et de la variace

Les arbres de décision sont intrinsèquement sujets à des surajustements, et les données à haute dimension exacerbent ce problème de façon spectaculaire. Dans de faibles dimensions, un arbre peut se diviser sur quelques caractéristiques significatives pour capturer la structure sous-jacente. Mais lorsque le nombre de caractéristiques est grand, l'arbre a beaucoup plus d'occasions de trouver des fractions qui semblent bonnes sur les données d'entraînement par hasard.

La variation de biais devient biaisée : la flexibilité de l'arbre (sa capacité à s'adapter à des modèles complexes) devient un passif. À mesure que la profondeur augmente, la variance domine l'erreur, ce qui fait que le modèle fonctionne mal sur des données invisibles.

La malédiction de la dimensionnalité dans la recherche de fractions

Les arbres de décision comptent sur la recherche de points de partage informatifs le long de caractéristiques individuelles. Dans les dimensions élevées, les données deviennent si clairsesques que de nombreuses divisions contiennent très peu d'observations, ce qui rend les gains de fraction estimés peu fiables. Par exemple, considérez un problème de classification binaire avec 100 caractéristiques et seulement 200 échantillons.

De plus, la malédiction de dimensionnalité[ signifie que l'arbre doit évaluer de nombreuses scissions de candidats sur toutes les caractéristiques, et la probabilité de trouver une scission de gain élevé par accident augmente. Cela conduit à des arbres à la fois profonds et fragiles. Des études ont montré que, à mesure que la dimensionnalité grandit, les arbres de décision ont tendance à sélectionner des scission sur des caractéristiques non pertinentes presque aussi souvent que sur des caractéristiques pertinentes, surtout lorsque la proportion de caractéristiques pertinentes est faible.

Instabilité des points de partage et des biais de sélection des caractéristiques

Les arbres de décision sont des classificateurs instables : de petits changements dans les données d'entraînement peuvent produire des arbres radicalement différents. Dans les dimensions élevées, cette instabilité est amplifiée parce que l'arbre dépend fortement des caractéristiques choisies pour les fractions précoces. Un ensemble de permutations aléatoires dans l'ensemble d'entraînement peut entraîner le changement de la fraction racine, modifiant la structure de l'arbre entier.

Lorsqu'un arbre de décision recherche plusieurs fonctionnalités pour la meilleure répartition, il surestime systématiquement l'importance des caractéristiques qui sont en corrélation aléatoire avec la cible. Il s'agit d'une forme de dragage de données . Par exemple, dans un ensemble de données comportant 1 000 caractéristiques non pertinentes et 10 caractéristiques pertinentes, l'arbre choisira souvent une caractéristique non pertinente à la racine, car les corrélations de hasard produisent une division légèrement meilleure. Ce biais persiste même avec la taille et ne peut être atténué que par la sélection ou la régularisation de fonctionnalités externes.

Complexité et scalabilité informatiques

Pour construire un arbre décisionnel, il faut évaluer toutes les scissions possibles sur toutes les caractéristiques. Pour un ensemble de données avec des échantillons n et des caractéristiques p, la complexité d'un scission à un seul niveau est O[nlog [n × p) pour des implémentations basées sur le tri. Comme p][F[FLT:

Des méthodes d'ensemble comme les forêts aléatoires peuvent en partie résoudre la variance mais viennent avec leurs propres frais généraux de calcul. La formation de centaines d'arbres sur des données à haute dimension peut être lente et à forte intensité de mémoire, surtout si chaque arbre recherche sur toutes les fonctionnalités.

Perte d'interprétation

L'un des principaux appels des arbres de décision est leur interprétabilité : un arbre peu profond peut être visualisé et expliqué aux non-experts. Cependant, dans les dimensions élevées, les arbres deviennent grands, profonds et enchevêtrés. Un arbre avec 50 feuilles et des centaines de scissions n'est plus transparent. Les chemins de décision deviennent longs et impliquent de nombreuses caractéristiques, ce qui rend difficile de comprendre pourquoi une prédiction particulière a été faite.

De plus, les mesures d'importance des caractéristiques dérivées des arbres à haute dimension profonds sont souvent peu fiables. Elles sont biaisées vers des caractéristiques ayant de nombreuses valeurs distinctes et peuvent fausser l'importance aux caractéristiques non pertinentes en raison des effets de masque.

Stratégies visant à limiter les limites

Malgré ces défis, les arbres décisionnels restent utiles dans de nombreux contextes, et plusieurs techniques établies peuvent améliorer leur performance sur des données à haute dimension. La clé est de réduire la dimensionnalité efficace, la variance de contrôle et les approches d'ensemble ou hybrides de levier.

Sélection des fonctionnalités et réduction de dimensionnalité

Le remède le plus direct est de réduire le nombre de fonctionnalités avant construire l'arbre. Les méthodes de sélection des caractéristiques peuvent être classées en trois types:

• (p. ex., chi-carré, information mutuelle, seuil de variance) les caractéristiques de classement indépendamment du modèle. Elles sont rapides et évolutives, mais elles ignorent les interactions de caractéristiques.
• Les méthodes de trappe[ (p. ex. élimination des caractéristiques récursives, sélection avant) utilisent l'arbre de décision lui-même pour évaluer les sous-ensembles de caractéristiques.
• (p. ex., LASSO, importance de la fonction en fonction des arbres) effectue la sélection pendant la formation des modèles.

L'analyse des composants principaux (PCA) projette des données sur des composants orthogonaux qui captent la variance maximale. Bien que l'APC soit linéaire, il fonctionne souvent bien pour les données à haute dimension en supprimant le bruit et la redondance. [T-Distributed Stochastic Neighbor Embedding (t-SNE) et L'approximation et la projection du maniple uniforme (UMAP) sont des méthodes non linéaires adaptées à la visualisation, mais peuvent également réduire les dimensions pour la modélisation en aval. Les codeurs automatiques, un type de réseau neural, peuvent apprendre les représentations compactes, bien qu'elles soient plus complexes à régler.

La réduction de dimensionnalité non seulement atténue la malédiction de dimensionnalité mais accélère également la formation et améliore la généralisation. Cependant, il faut veiller à ne pas jeter d'information importante pour la tâche de prédiction. La validation croisée devrait guider le choix de la fonction ou du nombre de composants.

Régularisation et taille

Les algorithmes des arbres de décision offrent plusieurs hyperparamètres qui contrôlent la complexité. Les plus importants pour les données à haute dimension sont:

• Profondeur maximale: Limite le nombre de fractions de la racine à la feuille. Une petite profondeur maximale (p. ex., 3–5) oblige l'arbre à rester peu profond, réduisant la variance.
• Samples mineurs par feuille:[ S'assure que les noeuds foliaires contiennent un nombre minimum d'observations, ce qui empêche les fractions qui n'affectent qu'une infime fraction des données.
• Samples mineurs par fraction: Nécessite un nombre minimum d'échantillons dans un noeud avant qu'il ne puisse être fractionné davantage.
• Max caractéristiques:[ Limite le nombre de caractéristiques considérées pour chaque fraction. Lorsqu'elle est réglée à une fraction des caractéristiques totales (p. ex., sqrt(p) pour la classification), elle oblige l'arbre à considérer différents sous-ensembles, introduisant le hasard et réduisant le surajustement.
• Élagage de complexité des coûts (CCP):[ Méthode de taille post-hoc qui équilibre la taille des arbres contre l'erreur de classification. Le paramètre alpha du CCP contrôle l'échange; un alpha plus élevé donne un arbre plus petit.

La régularisation est souvent nécessaire en dimensions élevées. Elle peut sacrifier un certain biais à variance considérablement plus faible. Le défi est de trouver le bon niveau de régularisation, qui nécessite généralement une validation croisée. Les et de Scikit-learn permettent un accès facile à ces paramètres (voir la documentation de scikit-learn sur les arbres de décision).

Méthodes de l'ensemble : Forêts aléatoires et amélioration des gradients

Les méthodes d'ensemble combinent plusieurs apprenants faibles (arbres de décision de chasse) pour créer un modèle plus fort et plus stable. Elles sont particulièrement efficaces pour les données à haute dimension parce qu'elles réduisent la variance sans augmenter sensiblement le biais.

• Random Forests construisent de nombreux arbres sur des échantillons piégés des données et des sous-ensembles aléatoires de caractéristiques. La moyenne des prédictions réduit la variance et aide à éviter les surajustements. En considérant seulement un sous-ensemble aléatoire de caractéristiques à chaque fraction, les forêts aléatoires atténuent également le biais de sélection des caractéristiques discuté plus tôt.
• Les arbres gradués (p. ex. XGBoost, LightGBM, CatBoost) construisent les arbres séquentiellement, corrigeant chacune les erreurs des précédentes. Ils obtiennent souvent une précision plus élevée que les forêts aléatoires, mais nécessitent un réglage attentif du taux d'apprentissage, du nombre d'estimateurs et des paramètres de régularisation pour éviter les surajustements.

Les techniques comme l'échantillonnage en colonne et la division par histogramme (utilisée dans LightGBM) aident à maintenir l'efficacité. Pour des données extrêmement hautes en dimensions (par exemple, 100 000 fonctionnalités), il est toujours conseillé de réduire les dimensions d'abord en utilisant une méthode de filtre rapide ou PCA avant de former un ensemble. Un tutoriel complet sur les méthodes d'ensemble peut être trouvé dans la documentation d'ensemble de scikit-learn.

Modèles alternatifs pour les données à haute dimension

Dans certains cas, il peut être préférable d'abandonner complètement les arbres de décision et d'utiliser des modèles qui conviennent naturellement aux paramètres de haute dimension. Les modèles linéaires avec régularisation, comme régression logistique avec L1 penalty (LASO)[, sont efficaces pour les données peu nombreuses et fournissent la sélection automatique des fonctionnalités. Les machines vectorielles de soutien (SVM) avec noyaux linéaires[ sont également performantes et robustes en dimensions élevées lorsque le nombre de fonctionnalités dépasse le nombre d'échantillons.

Les réseaux neuronaux avec une régularisation appropriée (abandon, perte de poids) peuvent apprendre des modèles complexes dans des données à haute dimension, mais ils nécessitent de grands ensembles de données et un réglage étendu.Dans de nombreuses applications, les forêts aléatoires ou l'augmentation de gradient offrent un bon équilibre des performances et de la facilité d'utilisation.

Directives et recommandations pratiques

Étant donné les limites des arbres décisionnels dans les données à haute dimension, les praticiens devraient suivre un flux de travail structuré:

1. Commencez avec la réduction de dimensionnalité ou la sélection des fonctionnalités. Utilisez les connaissances du domaine, l'analyse de corrélation ou les méthodes de filtrage pour saisir les caractéristiques avant toute modélisation par arbre.
2. Utiliser des arbres de décision régularisés. Fixer des limites sur la profondeur et la taille des feuilles, et utiliser la taille coût-complexité. Valider les hyperparamètres par validation croisée pour éviter les surajustements.
3. Les forêts aléatoires sont un défaut sûr. Si la précision est critique, essayez de stimuler le gradient avec une régularisation appropriée et un arrêt précoce.
4. Considérer l'interprétation du modèle. Pour les arbres peu profonds, extraire les règles; pour les ensembles, utiliser l'importance de la permutation ou les valeurs SHAP pour comprendre le modèle, étant conscient des biais lorsque les caractéristiques sont fortement corrélées ou nombreuses.
5. Si les performances demeurent médiocres, explorer d'autres modèles comme LASSO, SVM linéaire ou algorithmes spécialisés comme arbres de décision de l'écart (p. ex., en utilisant des arbres de classification optimaux avec une contrainte de profondeur maximale).

Une compréhension plus approfondie de la malédiction de la dimensionnalité peut être obtenue à partir de l'article Wikipedia sur la malédiction de la dimensionnalité, qui explique les fondements mathématiques.Pour une comparaison pratique des méthodes basées sur les arbres, l'article "A-t-on besoin de centaines de classificateurs pour résoudre les problèmes de classification du monde réel?" par Fernández-Delgado et al. démontre que les forêts aléatoires et les SVM dominent souvent les problèmes de haute dimension.

Conclusion

Les arbres décisionnels restent un outil précieux dans l'apprentissage automatique, mais leurs limites dans les espaces à haute dimension sont importantes et doivent être reconnues. L'ajustement excessif, la malédiction de la dimensionnalité, l'instabilité fractionnée, les dépenses de calcul et la perte de capacité d'interprétation se combinent pour dégrader leur performance lorsque le nombre de caractéristiques est important par rapport au nombre d'observations. Heureusement, ces défis peuvent être relevés par des méthodes d'ingénierie, de réduction de dimensionnalité, de régularisation et d'ensemble des caractéristiques minutieuses. En comprenant les causes profondes de l'échec, les data scientists peuvent faire des choix éclairés quant au moment d'utiliser les arbres décisionnels et comment les augmenter pour obtenir des données à haute dimension.