Comprendre la détection des anomalies : méthodes, métriques et exemples

La détection des anomalies est une technique critique en science des données et en apprentissage automatique qui se concentre sur l'identification des points de données, des modèles ou des événements qui dérogent de façon significative au comportement attendu. Une anomalie se réfère à une observation qui déroge significativement au comportement attendu dans un système, qui apparaît souvent inhabituelle, incohérente ou inattendue.

La détection des anomalies est essentielle pour diverses applications, notamment la sécurité du réseau, la détection des fraudes, la maintenance prédictive, le diagnostic des erreurs, le suivi industriel et le suivi des soins de santé.En tant qu'organisations produisant et recueillant des volumes toujours plus importants de données, la capacité d'identifier automatiquement les modèles inhabituels est devenue indispensable pour maintenir l'efficacité opérationnelle, la sécurité et le contrôle de la qualité.

Qu'est-ce que la détection d'anomalies et pourquoi est-ce important?

La détection d'anomalies, aussi appelée détection aberrante, est le processus d'identification des observations ou des modèles de données qui ne sont pas conformes au comportement attendu. Bien que les aberrations ne constituent généralement qu'une petite fraction d'un ensemble de données, elles sont souvent très cruciales parce qu'elles portent des informations importantes et peuvent révéler des idées critiques au cours de l'analyse.

L'importance de la détection des anomalies s'est accrue de façon exponentielle avec la complexité et le volume croissants des données dans les systèmes modernes.L'expansion rapide des données provenant de diverses sources a rendu la détection des anomalies de plus en plus essentielle pour identifier les observations inattendues qui peuvent signaler des défaillances, des failles de sécurité ou des fraudes.

Types d'anomalies

Les anomalies peuvent être classées en plusieurs types distincts en fonction de leurs caractéristiques et de la façon dont elles se manifestent dans les données.

Point Anomalies: Points de données individuels qui s'écartent sensiblement du reste de l'ensemble de données. Ce sont les types d'anomalie les plus courants, comme une transaction exceptionnellement importante dans un relevé de carte de crédit ou une augmentation soudaine du temps de réponse du serveur.
Anormes contextuelles:[ Points de données qui sont des anomalies dans un contexte spécifique mais qui peuvent être normales dans d'autres contextes. Par exemple, une température de 30°C peut être normale en été mais anormale en hiver.
Anomalies collectives:[ Une collecte de points de données qui représentent ensemble un comportement anormal, même si des points individuels ne sont pas anormaux seuls. Un exemple serait une série de petites transactions qui, ensemble, indiquent une activité frauduleuse.
Séquence Anomalies: Patterns dans les données des séries chronologiques où la séquence des événements s'écarte des modèles temporels attendus, particulièrement pertinents dans les applications de surveillance et les systèmes de contrôle des processus.

La nature des anomalies peut varier selon le format des données. Les anomalies ponctuelles, les anomalies de séquence et les valeurs aberrantes peuvent toutes se manifester différemment selon les types et les structures de données.

Méthodes et techniques communes de détection des anomalies

La détection des anomalies comprend un large éventail de méthodologies, allant des approches statistiques traditionnelles aux techniques avancées d'apprentissage profond. Chaque méthode a ses propres forces, limites et cas d'utilisation idéale. Le choix de la méthode dépend de facteurs tels que les caractéristiques des données, les ressources de calcul, la disponibilité des données étiquetées, et les exigences spécifiques de l'application.

Méthodes statistiques

Les méthodes statistiques représentent certaines des approches les plus anciennes et les plus interprétables de la détection des anomalies, qui supposent que les données normales suivent une distribution statistique particulière et que les anomalies sont des points de données peu probables dans le cadre de cette distribution.

Les méthodes statistiques communes comprennent:

Méthode Z-Score:[ Identifie les anomalies en fonction du nombre d'écarts-types qu'un point de données est de la moyenne.
Modèles de distribution de gazian: Les données d'hypothèses suivent une distribution normale et identifient les points à faible densité de probabilité comme des anomalies.
Contrôle statistique des processus :[ Utilise des cartes de contrôle et des tests statistiques pour surveiller les processus et détecter quand ils s'écartent du comportement attendu.
Décomposition de la série temporelle: Sépare les données des séries chronologiques en composantes tendancielles, saisonnières et résiduelles, avec des anomalies détectées dans la composante résiduelle.

Les méthodes statistiques fonctionnent bien lorsque les distributions de données sont bien comprises et relativement stables. Cependant, elles peuvent être difficiles à obtenir avec des données à haute dimension ou lorsque la distribution sous-jacente est complexe ou inconnue.

Méthodes basées sur la distance et la densité

Les techniques basées sur la distance évaluent l'écart entre les observations et les points de données représentatifs en utilisant des mesures de distance, tandis que les méthodes de distribution se concentrent sur l'identification des anomalies par des points à faible probabilité.

Si un point de données a une densité locale significativement inférieure par rapport à sa zone voisine, il peut être signalé comme une anomalie. L'algorithme du facteur de l'écart local (LOF) est une méthode populaire basée sur la densité qui compare la densité locale d'un point avec les densités de ses voisins pour identifier les valeurs aberrantes.

Les principales techniques basées sur la distance et la densité sont les suivantes :

K-Nez le plus proche (KNN):[ Calcule la distance jusqu'aux voisins k-nairest et les points de drapeaux avec des distances anormalement grandes comme anomalies.
Facteur de sortie local (LOF):[ Mesure l'écart local de densité d'un échantillon donné par rapport à ses voisins, en identifiant des régions de densité et des points similaires qui ont une densité sensiblement inférieure à celle de leurs voisins.
DBSCAN: Un algorithme de regroupement qui peut identifier des points aberrants comme des points qui n'appartiennent à aucun cluster.

Toutefois, à mesure que les systèmes cibles augmentent en taille et en complexité, ces méthodes se heurtent à des difficultés, notamment à leurs limites dans le traitement des données multidimensionnelles et à l'absence d'anomalies marquées, ce qui a conduit à l'élaboration d'approches plus sophistiquées en matière d'apprentissage automatique.

Approches d'apprentissage automatique

Les méthodes d'apprentissage automatique sont devenues de plus en plus populaires pour la détection d'anomalies en raison de leur capacité à apprendre des modèles complexes à partir de données sans exiger une programmation explicite de règles. Les algorithmes d'apprentissage automatique non supervisés comprennent la machine vectorielle de soutien à une classe, la SVM à une classe avec descente progressive stochastique, la forêt d'isolement, le facteur de sortie locale et la covariance robuste.

La forêt d'isolement est particulièrement efficace pour la détection des anomalies. L'évaluation révèle que la covariance de la SVM, de la forêt d'isolement et de la robustesse de classe unique est plus efficace pour identifier les valeurs aberrantes, l'Isolation Forest étant légèrement plus performante que les autres algorithmes en termes de précision et de rappel.

One-Class SVM apprend une limite de décision autour des points de données normaux dans l'espace de fonctionnalités. Tous les points tombant à l'extérieur de cette limite sont classés comme anomalies. Cette méthode est particulièrement utile lorsque vous n'avez que des données normales pour l'entraînement et avez besoin de détecter de nouvelles anomalies.

En assembler des méthodes combinent plusieurs algorithmes de détection d'anomalies pour améliorer la performance et la robustesse globales. En regroupant les décisions de plusieurs détecteurs, les méthodes d'ensemble peuvent réduire les faux positifs et améliorer la précision de détection pour divers types d'anomalies.

Méthodes d'apprentissage approfondi

Les progrès de l'apprentissage profond ont rendu les méthodes de détection des anomalies plus puissantes et plus adaptables, améliorant leur capacité à gérer des données à haute dimension et non structurées. Les approches d'apprentissage profond ont révolutionné la détection des anomalies en apprenant automatiquement des représentations hiérarchiques des données.

Les modèles d'apprentissage approfondi comme Transformers, Graph Neural Networks, Variational Autoencoders, Generative Adversarial Networks et Diffusion Models sont capables de représenter des relations complexes et non linéaires entre différents capteurs et de saisir efficacement les corrélations et dépendances temporelles. Ces architectures sophistiquées permettent de détecter des anomalies subtiles qui pourraient être manquées par les méthodes traditionnelles.

Méthodes basées sur l'encodeur automatique

Les autoencodeurs sont des réseaux neuronaux formés pour reconstruire leurs données d'entrée. La principale idée est que les autoencodeurs formés sur des données normales auront une erreur de reconstruction élevée pour les données anormales. Les méthodes basées sur la reconstruction utilisent un ensemble de données normales pour former un modèle qui tente de coder les données dans un espace latent et ensuite reconstruire les données originales de cette représentation.

Les variantes des codeurs automatiques utilisés pour la détection des anomalies comprennent:

Vanilla Autoencoders: Architecture de base encodeur-décodeur qui apprend à compresser et à reconstruire des données normales.
Codeurs automatiques de la voie de communication (VAE): Codeurs automatiques probabilistes qui apprennent une distribution sur l'espace latent, offrant une meilleure généralisation.

LSTM Autoencoders: Utilisez des réseaux de mémoire à court terme longs pour saisir les dépendances temporelles dans les données des séries temporelles, ce qui les rend particulièrement efficaces pour la détection séquentielle d'anomalies.

Codeurs automatiques convolutionnels:[ Tirer parti des couches convolutionnelles pour détecter les anomalies dans les données d'image et spatiales.

Réseaux d'adversaires (RAG)

Les RAG sont constitués de deux réseaux neuronaux, un générateur et un discriminateur, qui se concurrencent mutuellement. Pour la détection des anomalies, les RAG peuvent être formés à générer des modèles de données normaux. Les anomalies sont ensuite identifiées comme des points de données que le discriminateur peut facilement distinguer des données normales générées, ou que le générateur peine à reproduire avec précision.

Modèles fondés sur les transformateurs

Les architectures de transformation, développées à l'origine pour le traitement du langage naturel, ont été adaptées pour la détection d'anomalies dans les séries chronologiques et les données multivariées. Leurs mécanismes d'attention leur permettent de saisir les dépendances à longue distance et les relations complexes entre variables, les rendant particulièrement efficaces pour détecter des anomalies subtiles dans les données à haute dimension.

Approches hybrides et globales

Les modèles d'apprentissage approfondi pour la détection des anomalies sont généralement classés en quatre catégories : méthodes basées sur la prévision, la reconstruction, la représentation et les hybrides. Chaque catégorie est divisée en sous-catégories en fonction des architectures de réseau neuronal profond utilisées.

Les modèles d'apprentissage de profondeur hybrides améliorent considérablement la précision et l'adaptabilité de la détection dans les environnements dynamiques du réseau. Par exemple, combiner des méthodes statistiques avec l'apprentissage automatique peut fournir à la fois l'interprétation et une précision de détection élevée.

Les sous-détecteurs statistiques se fondent sur des paramètres tels que la médiane des écarts, la moyenne sur une heure il y a un jour, les moyennes simples et mobiles, les écarts types, les méthodes des moindres carrés, les histogrammes et les combinaisons de ces deux méthodes.

Apprendre les paradigmes dans la détection des anomalies

Le choix du paradigme d'apprentissage a une incidence significative sur la conception et la performance des systèmes de détection des anomalies. Différents paradigmes sont adaptés à différents scénarios basés sur la disponibilité de données étiquetées et la nature des anomalies détectées.

Enseignement supervisé

La méthode supervisée utilise une méthode distincte pour apprendre les limites entre les données anormales et normales qui est basée sur toutes les étiquettes de l'ensemble de formation. Elle peut déterminer une valeur seuil appropriée qui sera utilisée pour classer tous les horodatages comme anomales si la note anormale attribuée à ces horodatages dépasse le seuil. Le problème avec cette méthode est qu'elle ne s'applique pas à de nombreuses applications du monde réel parce que les anomalies sont souvent inconnues ou mal étiquetées.

Les approches supervisées traitent la détection d'anomalies comme un problème de classification, exigeant des exemples marqués de données normales et anormales. Bien que cela puisse atteindre une précision élevée lorsque des données suffisantes sont disponibles, obtenir des données d'anomalies étiquetées est souvent coûteux, long ou peu pratique.

Apprentissage sans supervision

L'approche non supervisée n'utilise pas d'étiquettes et ne fait aucune distinction entre la formation et les ensembles de données d'essai. Ces techniques sont les plus flexibles puisqu'elles reposent exclusivement sur les caractéristiques intrinsèques des données.

Les méthodes non supervisées fonctionnent en apprenant la structure des données normales et en identifiant des points qui ne correspondent pas à cette structure apprise, ce qui les rend particulièrement utiles dans les scénarios où les anomalies sont rares, diverses ou en évolution au fil du temps.

Apprentissage semi-supervisé

L'apprentissage semi-supervisé représente un milieu entre les approches supervisées et non supervisées. En général, ces méthodes sont formées sur des données normales seulement, apprenant à reconnaître à quoi ressemble un comportement normal. Pendant l'inférence, toute donnée qui s'écarte significativement de ce comportement normal appris est signalé comme anomale.

Cette approche est particulièrement pratique car obtenir des exemples de comportement normal est généralement beaucoup plus facile que de recueillir des exemples complets de toutes les anomalies possibles.

Apprentissage auto-surveillé

Pour la détection des anomalies, les méthodes autosupervisées peuvent consister à prévoir les valeurs futures dans une série chronologique, à reconstruire des parties masquées de données ou à apprendre à distinguer les différentes transformations des mêmes données.

Ces approches ont gagné en popularité parce qu'elles peuvent tirer parti de grandes quantités de données non marquées pour apprendre des représentations robustes qui sont utiles pour détecter des anomalies.

Mesures d'évaluation pour la détection des anomalies

L'évaluation des systèmes de détection des anomalies présente des défis uniques par rapport aux tâches de classification standard. L'évaluation des performances des modèles de détection des anomalies n'est pas aussi simple que d'autres problèmes d'apprentissage supervisé, où vous pouvez simplement comparer les étiquettes prédites avec les véritables étiquettes.

Précision, rappel et score F1

La précision mesure la proportion d'anomalies correctement identifiées parmi tous les cas détectés, aidant à quantifier les faux positifs. Le rappel calcule la fraction d'anomalies réelles détectées avec succès, mettant en évidence les cas manqués. Le score F1 équilibre ces deux cas en prenant leur moyenne harmonique, qui est utile lorsque le déséquilibre de classe existe.

La précision mesure la fraction des anomalies détectées qui sont en fait de véritables anomalies, tandis que le rappel mesure la fraction des anomalies réelles détectées par le modèle. Une haute précision signifie que le modèle ne génère pas beaucoup de faux positifs, tandis qu'un rappel élevé signifie que le modèle ne manque pas beaucoup de véritables anomalies.

La relation entre précision et rappel implique des compromis importants :

Haute précision, Rappel inférieur: Le système est conservateur, ne faisant que signaler les anomalies les plus évidentes. Cela minimise les fausses alarmes mais peut manquer les anomalies subtiles.
Haute Rappel, Précision inférieure: Le système est sensible, attraper la plupart des anomalies, mais potentiellement générer beaucoup de faux positifs.
Balanced F1-Score:[ Fournit une seule mesure qui considère à la fois la précision et le rappel, utile pour comparer différents modèles.

La précision et le rappel sont souvent des compromis, ce qui signifie que l'amélioration peut diminuer l'autre. Par conséquent, vous pouvez vouloir utiliser une seule métrique qui combine les deux, comme le score F1, qui est la moyenne harmonique de la précision et du rappel.

ROC-AUC et PR-AUC

Le PR-AUC se concentre sur les compromis de précision et de rappel, ce qui en fait un outil plus informatif pour les ensembles de données très déséquilibrés où les anomalies sont rares.

La courbe caractéristique de fonctionnement du récepteur (ROC) trace le taux réel positif par rapport au taux faux positif à divers paramètres de seuil. La zone sous la courbe ROC (ROC-AUC) fournit un score unique résumant le rendement pour tous les seuils.

La courbe de rappel de précision et sa zone correspondante sous la courbe (PR-AUC) sont souvent plus informatives pour la détection d'anomalies. La courbe de rappel de précision et la PA sont plus adaptées pour les problèmes de détection d'anomalies avec des anomalies rares ou des données déséquilibrées, car elles se concentrent davantage sur la classe positive (anomalies) que la classe négative (instances normales).

Séries chronologiques-Méthodes spécifiques

Les mesures standard conçues pour la classification ponctuelle peuvent être inadéquates pour la détection d'anomalies de séries chronologiques. La précision et le rappel de séries chronologiques sont appropriés pour évaluer les méthodes de détection d'anomalies dans les données de séries chronologiques. Dans les données de séries chronologiques, une anomalie correspond à une série d'exemples. Les mesures conventionnelles, cependant, négligent cette caractéristique, ils souffrent donc d'un problème de donner un score élevé à la méthode qui ne détecte qu'une anomalie longue.

Les mesures de précision et de rappel existantes qui ont été conçues pour l'évaluation de l'algorithme de détection des anomalies ponctuelles, font un mauvais travail d'estimation de la qualité des résultats pour les anomalies des séries chronologiques.

PATE utilise la pondération basée sur la proximité en considérant les zones tampons autour des intervalles d'anomalie, permettant une évaluation plus détaillée et éclairée d'une détection. En utilisant ces poids, PATE calcule une version pondérée de la zone sous la courbe de précision et de rappel.

Note spécifique au domaine

Les mesures spécifiques à un domaine sont également cruciales. Le taux de faux positif est critique dans des applications comme le diagnostic médical, où le mauvais affichage de patients sains comme anomalies gaspille les ressources.

Différentes applications priorisent les différents aspects de la performance :

Détection de faux positifs : Un rappel élevé est essentiel pour attraper des transactions frauduleuses, même au prix de certains faux positifs qui peuvent être examinés manuellement.
Contrôle de qualité de fabrication :[ La précision devient critique là où de fausses alarmes pourraient inutilement arrêter la production.
Sécurité du réseau:[ Équilibre entre la détection des menaces (rappel) et l'évitement de la fatigue alerte des faux positifs (précision).
Entretien prédictif:[ La détection précoce (temps de pointe) et le retard de détection sont des mesures importantes, tout comme les mesures de précision standard.

Le Paradoxe de l'exactitude

Imaginez essayer de détecter une tumeur cérébrale très rare chez les patients qui ne se produit qu'à 1 sur 100 000. Par défaut, vous pouvez prédire « aucune tumeur cérébrale » pour chaque personne et être 99,9 % précis du temps. Cependant, votre modèle ne serait pas utile. Compte tenu des données de déséquilibre, évaluer la performance basée sur la seule précision n'est pas suffisant – ce qui est connu comme le « paradoxe de précision », et choisir des mesures plus intelligentes pour évaluer vos modèles est très critique.

Ce paradoxe souligne pourquoi la précision seule est insuffisante pour évaluer les systèmes de détection des anomalies. Un modèle qui prédit simplement «normal» pour tous les cas peut atteindre une très grande précision dans les ensembles de données déséquilibrés tout en étant complètement inutile pour détecter les anomalies.

Applications mondiales réelles de la détection des anomalies

La détection d'anomalies a permis de trouver des applications dans pratiquement toutes les industries, ce qui a permis d'identifier des modèles inhabituels qui indiquent des problèmes, des possibilités ou des menaces.

Services financiers et détection de fraude

Le secteur financier a été l'un des premiers à adopter la technologie de détection des anomalies. Les systèmes de détection de la fraude par carte de crédit analysent les modèles de transaction pour identifier les activités suspectes en temps réel.

Les systèmes de détection des anomalies financières suivent divers indicateurs, notamment:

Montants ou fréquences des transactions inhabituelles
Opérations à partir de lieux géographiques inattendus
Les tendances atypiques des dépenses par rapport au comportement historique
Séquences suspectes de transactions pouvant indiquer une prise en charge de compte
Manipulation du marché et schémas de négociation des initiés

Les systèmes modernes de détection de la fraude utilisent des méthodes d'ensemble combinant plusieurs algorithmes pour atteindre des taux de détection élevés tout en minimisant les faux positifs qui pourraient gêner les clients légitimes.

Cybersécurité et détection d'intrusion de réseau

Les méthodes basées sur l'anomalie sont particulièrement importantes pour détecter les attaques furtives et zéro jour qui évitent les défenses traditionnelles. Les systèmes de détection d'intrusion de réseau (NIDS) utilisent la détection d'anomalies pour identifier les activités malveillantes, les tentatives d'accès non autorisées et les failles de sécurité dans les réseaux informatiques.

Les modèles avancés tirent parti des capacités d'apprentissage approfondi pour identifier et apprendre des modèles subtils de données, permettant d'identifier et d'alerter rapidement les comportements anormaux dans divers domaines tels que le contrôle des transactions financières, la détection des menaces de cybersécurité, les prévisions de maintenance des équipements industriels et le contrôle des soins de santé.

Les applications de la cybersécurité de la détection d'anomalies comprennent :

Analyse du trafic réseau:[ Détection de modèles inhabituels dans le trafic réseau qui pourraient indiquer des attaques de déni de service (DDoS) distribuées, des exfiltrations de données ou des communications de commande et de contrôle.
Compte de comportement utilisateur Analytics:[ Identifier les comptes compromis en détectant les écarts par rapport aux modèles de comportement des utilisateurs normaux.
Détection de malware:[ Reconnaître un logiciel malveillant basé sur des modèles comportementaux plutôt que des signatures connues.
Détection de la menace d'insider :[ Identification des employés ou entrepreneurs qui se livrent à des activités non autorisées ou suspectes.

Les cadres d'ensemble intègrent plusieurs paradigmes d'apprentissage (XGBoost, Random Forest, GNN, LSTM et Autoencoder) pour améliorer les performances de détection et assurer la résilience dans des environnements opérationnels variés.Cette approche multicouches permet de relever le défi de détecter à la fois les modèles d'attaque connus et les nouveaux exploits de zéro jour.

Fabrication industrielle et contrôle de la qualité

Près de 85 % des entreprises interrogées ont déclaré qu'elles s'occupaient des technologies de détection des anomalies de leur image industrielle. Les environnements de fabrication génèrent de grandes quantités de données de capteurs à partir d'équipements de production, ce qui en fait des candidats idéaux pour la détection automatisée des anomalies.

La précision devient critique dans des scénarios comme le contrôle de la qualité de la fabrication, où les fausses alarmes pourraient arrêter inutilement la production.

Détection des défauts:[ Identification des défauts de fabrication dans les produits à l'aide de systèmes d'inspection visuelle alimentés par la vision informatique et l'apprentissage profond.
Entretien prédictif:[ Détection des signes précoces de dégradation ou de défaillance de l'équipement en surveillant les vibrations, la température, la pression et d'autres mesures de capteurs.
Surveillance des processus :[ Veiller à ce que les processus de fabrication demeurent dans les limites de paramètres acceptables et à ce que des écarts puissent affecter la qualité du produit.
Anormes de la chaîne d'approvisionnement:[ Identifier les perturbations, les retards ou les irrégularités dans les opérations de la chaîne d'approvisionnement.

Les méthodes de détection des anomalies de la vision industrielle fondées sur l'apprentissage profond couvrent cinq paradigmes d'apprentissage : un apprentissage entièrement supervisé, semi-supervisé, faiblement supervisé, autosupervisé et non supervisé. Ces systèmes peuvent détecter des défauts subtils qui pourraient être manqués par les inspecteurs humains tout en fonctionnant à des vitesses de chaîne de production.

Soins de santé et diagnostic médical

Les applications médicales de détection des anomalies vont de la surveillance des patients au diagnostic de maladie et à la détection des épidémies.

Surveillance des patients:[ Détection de signes vitaux anormaux ou de mesures physiologiques qui pourraient indiquer une détérioration des conditions du patient dans les unités de soins intensifs.
Immaging médical:[ Identification des patrons anormaux dans les rayons X, IRM, scanners, et d'autres images médicales qui pourraient indiquer des tumeurs, des lésions, ou d'autres pathologies.
Détection d'éclosion de maladie:[ Surveillance des données épidémiologiques afin de déterminer les tendances inhabituelles qui pourraient indiquer des éclosions de maladies émergentes.
Surveillance des essais cliniques:[ Détection des événements indésirables ou des réactions inattendues chez les participants aux essais cliniques.
Fraude en matière de soins de santé : Identification des demandes frauduleuses d'assurance ou des irrégularités de facturation.

Les enjeux élevés des soins de santé rendent particulièrement coûteux les faux positifs et les faux négatifs. Les faux positifs peuvent conduire à des procédures inutiles et à l'anxiété des patients, tandis que les faux négatifs peuvent entraîner des diagnostics manqués avec des conséquences potentiellement mortelles.

Opérations informatiques

Les systèmes de télémétrie jouent un rôle essentiel dans la plupart des industries et dans l'économie mondiale, car ils sont déployés pour recueillir et analyser les données provenant de systèmes de production et de services en temps réel afin d'établir et de maintenir un fonctionnement rentable et abordable.

Une détection rapide et précise des anomalies est essentielle pour que les opérateurs prennent des mesures en cas d'anomalies.

Surveillance des serveurs et des infrastructures: Détection de la dégradation des performances, de l'épuisement des ressources ou des défaillances du système dans les centres de données et l'infrastructure cloud.
Surveillance de la performance de l'application:[ Identifier les anomalies dans le comportement de l'application, les temps de réponse, les taux d'erreur et les paramètres de l'expérience utilisateur.
Log Analysis:[ Détecter automatiquement les profils inhabituels dans les journaux de système qui pourraient indiquer des erreurs, des problèmes de sécurité ou des problèmes opérationnels.
Planification de la capacité:[ Identifier des modèles de croissance ou de consommation de ressources inhabituels qui pourraient nécessiter une échelle d'infrastructure.

Les méthodes proposées présentent des performances de détection comparables en termes de précision, de rappel, de F-score et de MCC pour les approches les plus modernes. Parallèlement, les algorithmes proposés ont le plus petit retard de détection maximal, ce qui est un avantage certain pour les applications pratiques.

Internet des objets (IdO) et systèmes intelligents

La prolifération des appareils IoT a créé de nouvelles opportunités et de nouveaux défis pour la détection des anomalies. Les villes intelligentes, les véhicules connectés, les appareils IoT industriels et les appareils IoT consommateurs génèrent tous des flux continus de données de capteurs qui nécessitent une surveillance des anomalies.

Les applications de détection d'anomalies IoT comprennent:

Smart Home Security:[ Détection de modèles inhabituels dans le comportement des appareils à domicile intelligents qui pourraient indiquer des failles ou des dysfonctionnements de sécurité.
Surveillance de l'environnement:[ Identification des lectures anormales provenant de capteurs environnementaux sur la qualité de l'air, la qualité de l'eau ou les conditions météorologiques.
Gestion intelligente du réseau:[ Détection des anomalies dans les modes de consommation d'énergie, la stabilité du réseau ou les performances de l'équipement.
Diagnostics de véhicule connectés:[ Surveillance des données du capteur de véhicule pour détecter les problèmes mécaniques potentiels ou les conditions de conduite dangereuses.

Les environnements IoT présentent des défis uniques, notamment des contraintes de ressources sur les périphériques de bord, la connectivité intermittente et la nécessité d'un traitement en temps réel.

Énergie et services publics

Les applications du secteur de l'énergie de la détection des anomalies aident à optimiser les opérations, à prévenir les défaillances et à détecter le vol ou la fraude:

Surveillance de l'installation de puissance: Détection d'anomalies dans les performances de turbine, la sortie du générateur ou les systèmes de refroidissement qui pourraient indiquer des défaillances imminentes.
Surveillance de la pénétration:[ Identification des fuites, des anomalies de pression ou des irrégularités de débit dans les pipelines de pétrole et de gaz.
Détection du vol d'énergie:[ Détection de modes de consommation inhabituels qui pourraient indiquer une manipulation du compteur ou un vol d'électricité.
Prévision énergétique renouvelable:[ Identifier les anomalies dans la performance du panneau solaire ou de l'éolienne qui pourraient indiquer des besoins d'entretien.

Défis et considérations en matière de détection des anomalies

Bien que la détection des anomalies se soit révélée utile dans de nombreux domaines, la mise en place de systèmes efficaces implique la navigation sur plusieurs défis importants.

Qualité et disponibilité des données

L'efficacité de tout système de détection d'anomalies dépend fortement de la qualité et de la quantité des données disponibles.

Insuffisante des données de formation:[ De nombreux scénarios de détection d'anomalies manquent de données historiques suffisantes, en particulier pour les types d'anomalies rares.
Écartalité de l'étiquette :[ L'obtention d'exemples d'anomalies étiquetées est souvent coûteuse ou peu pratique, limitant l'utilisation d'approches supervisées.
Iméquilibre des données: L'extrême rareté des anomalies par rapport aux instances normales crée un déséquilibre grave de classe qui peut biaiser les modèles.
Données sonores :[ Les erreurs de capteur, le bruit de mesure et les problèmes de qualité des données peuvent rendre difficile la distinction entre les véritables anomalies et les artefacts de données.
Évolution des distributions de données:[ Les modèles de comportement normaux changent souvent au fil du temps, exigeant des modèles pour s'adapter à la dérive conceptuelle.

Données à haute dimension

Les systèmes cibles se multiplient en taille et en complexité, les méthodes se heurtent à des défis, notamment leurs limites dans le traitement des données multidimensionnelles et le manque d'anomalies marquées.

La malédiction de la dimensionnalité rend les méthodes basées sur la distance moins efficaces à mesure que les dimensions augmentent.
La complexité informatique augmente avec le nombre de fonctionnalités, ce qui rend la détection en temps réel plus difficile.
La visualisation et l'interprétation des anomalies deviennent plus difficiles dans les espaces à haute dimension.
Le risque de suradaptation augmente avec la dimensionnalité, en particulier lorsque les données de formation sont limitées.

Les techniques de réduction de dimensionnalité et les méthodes de sélection des caractéristiques peuvent aider à relever ces défis, mais elles doivent être appliquées avec soin pour éviter de perdre des informations pertinentes pour la détection des anomalies.

Dépendances temporelles et contexte

Le défi de la détection d'anomalies de séries chronologiques multivariées réside dans la nécessité de tenir compte à la fois des changements dynamiques le long de la dimension temporelle et des relations entre les observations simultanément.

Modèles temporels et dépendances à différentes échelles de temps
Variations saisonnières et comportements périodiques
Évolution des tendances et évolution à long terme
Relations entre plusieurs variables de séries chronologiques
Anomalies liées au contexte qui sont normales dans certaines situations mais anormales dans d'autres

Interprétabilité et expliquabilité

De nombreuses méthodes avancées de détection des anomalies, en particulier les approches d'apprentissage profond, fonctionnent comme des boîtes noires, ce qui rend difficile de comprendre pourquoi une instance particulière a été identifiée comme une anomalie.

Les opérateurs peuvent ne pas faire confiance aux alertes qu'ils ne comprennent pas.
Le débogage et l'amélioration du système deviennent plus difficiles sans avoir à comprendre son processus décisionnel.
Les exigences réglementaires dans certains domaines exigent des décisions explicables.
L'analyse de la cause racine nécessite de comprendre quelles caractéristiques ou motifs ont déclenché la détection d'anomalies.

Des techniques d'IA explicables telles que SHAP (SHapley Additive exPlanations) et des mécanismes d'attention peuvent aider à donner des informations sur les décisions du modèle, mais elles ajoutent de la complexité et des frais généraux de calcul.

Exigences en temps réel en matière de traitement

De nombreuses applications nécessitent une détection d'anomalie pour fonctionner en temps réel ou quasi-réel, le traitement continu de flux de données avec une latence minimale.

Contraintes d'efficacité informatique qui limitent la complexité du modèle
Limites de mémoire pour le stockage des données historiques et des paramètres du modèle
La nécessité d'apprendre progressivement pour s'adapter aux nouveaux schémas sans se recycler à partir de zéro
Vitesse de détection en équilibre avec précision

Faux positifs et Fatigue d'alerte

L'un des défis pratiques les plus importants dans la détection des anomalies est la gestion des faux positifs. Trop de fausses alarmes peuvent conduire à alerter la fatigue, où les opérateurs commencent à ignorer les alertes, potentiellement manquant de véritables anomalies.

Réglage prudent du seuil basé sur la tolérance de l'application spécifique pour les faux positifs par rapport aux faux négatifs
Méthodes d'ensemble qui exigent que plusieurs détecteurs s'entendent avant de déclencher une alerte
Filtrage contextuel qui supprime les alertes pendant les fenêtres d'entretien connues ou les conditions inhabituelles attendues
Systèmes de hiérarchisation des alertes par gravité ou confiance
Des boucles de rétroaction qui permettent aux opérateurs de marquer des faux positifs, permettant au système d'apprendre et d'améliorer

Attaques contre l'adversaire

Dans les applications critiques pour la sécurité, les adversaires peuvent tenter d'échapper aux systèmes de détection d'anomalies en écrivant soigneusement leurs attaques pour paraître normales. Ce jeu de chat et de souris nécessite des systèmes de détection d'anomalies pour être robustes contre la manipulation contradictoire, qui est un domaine de recherche actif.

Meilleures pratiques pour la mise en œuvre des systèmes de détection des anomalies

Pour réussir à détecter les anomalies dans les environnements de production, il faut prêter une attention particulière aux aspects techniques et opérationnels.

Commencez par des objectifs clairs

Avant de choisir des méthodes ou des modèles de construction, définissez clairement ce qui constitue une anomalie dans votre contexte spécifique et quelles mesures devraient être prises lorsque des anomalies sont détectées.

Quels types d'anomalies sont les plus importants à détecter?
Quel est le compromis acceptable entre les faux positifs et les faux négatifs?
Quelle est la rapidité avec laquelle les anomalies doivent être détectées?
Quelles ressources sont disponibles pour enquêter sur les alertes?
Quelles sont les conséquences des détections manquées par rapport aux fausses alarmes?

Comprendre vos données

Une exploration et une compréhension approfondies des données sont essentielles avant de mettre en œuvre la détection des anomalies, notamment :

Analyser les distributions de données et identifier les modèles dans le comportement normal
Comprendre les tendances temporelles, la saisonnalité et les tendances
Identification et traitement des problèmes de données manquantes, des aberrations et de la qualité des données
Reconnaître les corrélations et les dépendances entre les variables
Documenter les anomalies connues et leurs caractéristiques

Choisir les méthodes appropriées

Plusieurs aspects doivent être considérés pour choisir et mettre en œuvre une technique de détection d'anomalies appropriée, comme les caractéristiques du flux de données sensorielles, le type d'anomalie et la disponibilité des données de formation.

Caractéristiques des données (dimensionnalité, structure temporelle, type de données)
Disponibilité des données étiquetées
Ressources informatiques et besoins en latence
Exigences en matière d'interprétation
La nature des anomalies que vous devez détecter

Souvent, en commençant par des méthodes plus simples et en augmentant progressivement la complexité au besoin, il est plus efficace que de déployer immédiatement des modèles d'apprentissage approfondi sophistiqués.

Mettre en oeuvre une évaluation robuste

Une évaluation complète est essentielle pour comprendre le rendement du système et identifier les domaines à améliorer :

Utiliser plusieurs mesures complémentaires plutôt que de se fier à une seule mesure
Évaluer les performances sur des données d'essai réalistes qui incluent divers types d'anomalies
Considérer les mesures spécifiques à la série temporelle lorsqu'on travaille avec des données temporelles
Effectuer une validation croisée pour assurer que les modèles généralisent bien
Surveiller en permanence les performances de la production et suivre les tendances métriques au fil du temps

Construire dans l'adaptabilité

Les comportements normaux évoluent souvent au fil du temps, de sorte que les systèmes de détection d'anomalies doivent s'adapter:

Mettre en place des mécanismes de recyclage périodique avec des données récentes
Utiliser des approches d'apprentissage en ligne qui peuvent mettre à jour les modèles de façon progressive
Surveillance de la dérive conceptuelle et de la reconversion déclenchée lorsqu'elle est détectée
Maintenir le contrôle de version pour les modèles et suivre les performances entre les versions
Systèmes de conception pour gérer gracieusement les déplacements de distribution

Incorporer les commentaires humains

L'expertise humaine reste précieuse dans les systèmes de détection d'anomalies :

Fournir des mécanismes permettant aux opérateurs d'étiqueter les faux positifs et les faux négatifs
Utiliser les retours d'information pour améliorer continuellement les performances du modèle
Mettre en œuvre des approches actives d'apprentissage qui demandent des étiquettes pour les exemples les plus instructifs
Combiner la détection automatisée et le jugement humain pour des décisions critiques
Documenter et partager les connaissances du domaine sur les modèles d'anomalies

Assurer la robustesse opérationnelle

Les systèmes de détection des anomalies de production doivent être fiables et viables:

Mettre en œuvre une archivage et une surveillance complètes du système de détection lui-même
Conception pour la tolérance aux défauts et la dégradation gracieuse
Établir des procédures claires d'escalade pour différents types d'anomalies
Documenter les décisions relatives au comportement, aux seuils et à la configuration du système
Plan de mise à jour des modèles et de maintenance du système avec un minimum de perturbations

Orientations futures et tendances émergentes

Le domaine de la détection des anomalies continue d'évoluer rapidement, en raison des progrès de l'apprentissage automatique, de l'augmentation du volume de données et des nouveaux domaines d'application.

Architectures avancées d'apprentissage profond

Récemment, les techniques de l'apprentissage profond ont fait progresser le domaine de la détection des anomalies au sein des ensembles de données multidimensionnels. Les architectures émergentes, y compris les transformateurs, les réseaux neuronaux graphes et les modèles de diffusion, repoussent les limites de ce qui est possible dans la détection des anomalies.

Les modèles hybrides émergents, combinant les GAN et les auto-encodeurs variables pour une meilleure robustesse, représentent des orientations prometteuses pour la recherche future. Ces approches hybrides visent à combiner les forces de différentes architectures tout en atténuant leurs faiblesses individuelles.

fédéré apprentissage pour la détection de la protection de la vie privée

L'apprentissage fédéré offre une façon de collaborer pour améliorer la détection des anomalies en utilisant les sources de données distribuées et la protection des données. Cette approche permet aux organisations de profiter de l'apprentissage collectif sans partager de données sensibles, en répondant aux préoccupations relatives à la protection de la vie privée tout en améliorant les capacités de détection grâce à des ensembles de données de formation plus vastes et plus diversifiés.

L'IA explicable et intelligible

Les systèmes de détection des anomalies étant déployés dans des applications plus critiques, la demande d'explication continue de croître. Les systèmes futurs devront non seulement détecter les anomalies, mais aussi expliquer clairement pourquoi quelque chose a été signalé comme une anomalie et quelles caractéristiques ont contribué à la décision.

Calcul des bords et IdO

La prolifération des dispositifs IoT entraîne une demande d'algorithmes de détection d'anomalies légères qui peuvent fonctionner sur des périphériques de bord à ressources limitées. Cela permet une détection en temps réel avec des exigences de latence et de bande passante réduites, tout en répondant aux préoccupations de confidentialité en traitant les données localement.

Détection d'anomalies multimodales

Les systèmes futurs intégreront de plus en plus de multiples modalités de données — combinant des données numériques de capteurs, des images, du texte et de l'audio — pour fournir une détection plus complète des anomalies.

Automatisation de l'apprentissage automatique (AutoML)

Les techniques AutoML rendent la détection d'anomalies plus accessible en automatisant la sélection des algorithmes, l'ingénierie des fonctionnalités et l'accordage hyperparamétrique. Cette démocratisation de la détection d'anomalies permet aux organisations sans savoir-faire en apprentissage automatique de mettre en place des systèmes de détection efficaces.

Détection d'anomalies causales

Au-delà de la détection fondée sur la corrélation, les approches causales visent à comprendre les mécanismes sous-jacents qui génèrent des anomalies, ce qui permet une détection plus robuste, moins susceptible de corrélations fallacieuses et fournit de meilleures indications pour l'analyse et l'assainissement des causes profondes.

Conclusion

La détection des anomalies est passée de méthodes statistiques simples à des systèmes d'apprentissage approfondi perfectionnés capables d'identifier des modèles subtils dans des données complexes et à haute dimension. L'article traite de l'environnement changeant des méthodes de détection des anomalies et souligne l'importance de poursuivre la recherche et l'innovation.

La réussite de la détection des anomalies exige de comprendre les diverses méthodes disponibles, de choisir les paramètres d'évaluation appropriés et de tenir compte des exigences et des contraintes spécifiques de chaque application. Chaque modèle d'apprentissage automatique et de détection des anomalies d'apprentissage profond présente des forces et des lacunes, se concentrant sur la précision et le rendement tout en appliquant des paramètres de qualité pour l'évaluation.

Les orientations futures de la recherche comprennent l'amélioration des performances des modèles, l'utilisation de multiples techniques de validation, l'optimisation de l'utilisation des ressources, la production de ensembles de données de haute qualité et l'utilisation d'applications réelles. En restant informés de ces développements et en suivant les meilleures pratiques pour la mise en oeuvre, les organisations peuvent exploiter la puissance de détection des anomalies pour améliorer la sécurité, la fiabilité, l'efficacité et la prise de décisions dans l'ensemble de leurs opérations.

Que vous protégez les systèmes financiers contre la fraude, que vous sécurisez les réseaux contre les cybermenaces, que vous assuriez la qualité de la fabrication ou que vous surveilliez les infrastructures essentielles, la détection des anomalies fournit des capacités essentielles pour identifier les modèles inhabituels qui comptent le plus.

Pour ceux qui cherchent à mettre en place des systèmes de détection d'anomalies, de nombreuses ressources et outils sont disponibles. Des bibliothèques open-source comme scikit-learn, TensorFlow et PyTorch fournissent des implémentations de nombreux algorithmes discutés dans cet article.