Présentation

Les équipes d'ingénierie produisent chaque jour de grandes quantités de données — modèles CAD, sorties de simulation, journaux de capteurs, résultats de tests et dossiers de fabrication. L'entreposage de ces données dans des bases de données opérationnelles ou des silos de fichiers plats devient rapidement inexploitable. Sans une approche systématique, l'information historique est perdue, l'analyse devient incohérente et la prise de décision en pâtit.

Cet article explique comment utiliser l'entreposage de données pour le stockage à long terme des données d'ingénierie, en couvrant les concepts de base, les étapes de mise en œuvre et les meilleures pratiques qui maintiennent vos données accessibles et utilisables pour les années à venir.

Qu'est-ce qu'un entrepôt de données?

Un entrepôt de données est une base de données spécialisée qui regroupe les données provenant de sources multiples en un seul et même magasin. Contrairement aux bases de données transactionnelles qui alimentent les opérations quotidiennes (appelées les systèmes OLTP), un entrepôt de données est optimisé pour les requêtes à forte intensité de lecture, les regroupements complexes et l'analyse historique des tendances.

Les caractéristiques déterminantes d'un entrepôt de données sont les suivantes:

  • Subject-oriented:[ Les données sont organisées autour de sujets clés tels que le produit, le projet ou l'actif, plutôt que les processus d'application individuels.
  • Intégré: Les conventions de nommage, les unités et les types de données non compatibles sont harmonisés pendant le processus ETL (Extrait, Transformer, Charger).
  • L'entrepôt conserve des instantanés historiques, permettant des comparaisons sur des mois ou des années.
  • Non-volatile:[ Une fois chargés, les données sont rarement mises à jour ou supprimées, ce qui assure une piste de vérification stable.

Entrepôt de données contre lac de données

Les équipes d'ingénierie examinent souvent s'il faut utiliser un entrepôt de données ou un lac de données. Un lac de données stocke des données brutes dans son format natif (fichiers, blobs, objets) sans transformation initiale. Bien que les lacs de données soient excellents pour la science des données exploratoires ou pour le stockage de flux de capteurs non structurés, ils nécessitent des efforts considérables pour préparer les requêtes de données. Un entrepôt de données, par contre, applique les règles de schéma et de qualité avant le chargement, ce qui le rend idéal pour les rapports récurrents de renseignements commerciaux et l'analyse interfonctionnelle.

Pourquoi les équipes d'ingénierie ont besoin d'entreposage de données

Les données techniques sont intrinsèquement de longue durée. On peut citer une conception de produit une décennie après sa création; un système de surveillance structurelle accumule des lectures pour la durée d'un pont.

  • Stockage centralisé: Toutes les données techniques — fichiers de conception, journaux de test, rapports de terrain — se trouvent à un seul endroit, ce qui élimine la nécessité de chasser à l'aide de multiples tableurs, bases de données et parts de fichiers.
  • Préservation historique :[ L'entrepôt conserve chaque version d'une mesure ou d'un numéro de pièce. Les ingénieurs peuvent retracer comment un paramètre a changé au fil du temps, ce qui est essentiel pour l'analyse de cause profonde ou les enquêtes de garantie.
  • Qualité et cohérence des données:[ Le processus ETL nettoie et standardise les données. Par exemple, les valeurs de température de différents capteurs sont converties en un format commun (Celsius) et en timestamp, ce qui réduit les erreurs dans les rapports et les simulations.
  • Analyse du domaine de production :[ Un entrepôt peut joindre des métadonnées CAO avec des données de qualité de production et des dossiers de service sur le terrain.
  • Conformité réglementaire :[ Les industries comme l'aérospatiale et les appareils médicaux doivent conserver pendant des années les données de conception et de fabrication.
  • Scalabilité:[ Les entrepôts de données en nuage modernes permettent de stocker et de calculer de façon indépendante, de sorte que la croissance des volumes de données ne dégrade pas les performances de la requête.

En regroupant les données d'ingénierie en entrepôt, les organisations transforment les enregistrements historiques en une ressource stratégique. L'investissement est rentable quand un concepteur peut interroger -- toutes les itérations de ce support qui ont échoué test de vibration au cours des cinq dernières années-- et obtenir des résultats en secondes.

Composantes clés et architecture d'un entrepôt de données

Une architecture typique d'entrepôt de données comprend plusieurs couches:

  • Espace de stockage:[ Espace de stockage temporaire où les données brutes provenant de sources d'ingénierie (systèmes PLM, bases de données SCADA, logiciels de simulation) sont copiées pour la première fois.
  • Intégration/Transformation couche:[ Ici, le pipeline ETL ou ELT nettoie, dédouble et restructure les données.Pour les données d'ingénierie, les transformations impliquent souvent la conversion d'unités d'ingénierie, l'analyse des sorties XML/JSON complexes à partir d'outils d'analyse et la production de clés de substitution.
  • entrepôt de données de base:[ le dépôt central, généralement conçu à l'aide d'un schéma étoile ou d'un schéma de flocons de neige. Les tables d'information stockent des mesures et des mesures numériques (p. ex. pressions de test, nombre de cycles), tandis que les tables de dimension stockent des attributs descriptifs (p. ex. numéros de pièce, ID de station de test, dates).
  • Data mart: Les sous-ensembles de l'entrepôt adaptés à des domaines d'ingénierie spécifiques – une mart de données produit pour R&D, une mart de données d'actif pour la maintenance, etc. Les mart de données améliorent le rendement et la sécurité pour les utilisateurs ministériels.
  • Couche d'accès: Les outils d'intelligence d'entreprise, les tableaux de bord personnalisés et les requêtes SQL directes permettent aux ingénieurs et aux analystes de récupérer des données.

Schéma de conception pour les données d'ingénierie

Les schémas Star sont courants dans les entrepôts d'ingénierie. Par exemple, une table de données pour les lectures de capteurs peut contenir des colonnes pour l'horodatage, l'ID du capteur, la valeur de mesure et les clés étrangères pour les tables de dimension pour l'emplacement du capteur, le type et l'état d'étalonnage. Les schémas Snowflake normalisent les dimensions plus (p. ex., la division de l'emplacement en site, plancher, machine).

Étapes à suivre pour mettre en place un entrepôt de données pour les données techniques

Pour construire un entrepôt de données pour les données d'ingénierie, il faut planifier soigneusement les travaux et suivre ces étapes pour s'assurer que le résultat répond aux besoins à long terme en matière de stockage et d'analyse.

1. Exigences de collecte et de vérification des données

Commencez par identifier les questions clés auxquelles l'entrepôt doit répondre.

  • Comment le taux d'échec de la composante X a-t-il changé au cours des trois dernières années?
  • Quelle est la corrélation entre la température ambiante pendant la production et la performance du produit final?
  • Quelles révisions de conception ont été impliquées dans les demandes de garantie supérieures?

Ensuite, entreposez toutes les sources de données : systèmes de gestion des données de produits CAO (DPM), plateformes Internet des objets (IoT), carnets de laboratoire, systèmes de planification des ressources d'entreprise (PGI) et même registres d'approbation par courriel.

2. Modélisation des données

Définir des tableaux d'information pour les événements mesurables (p. ex., chaque essai, chaque pièce produite) et des tableaux de dimensions pour les attributs contextuels (p. ex., procédure de test, opérateur, lot de matériaux). Utiliser des outils de modélisation ou même diriger SQL vers le prototype d'un schéma d'étoile. Pour les données d'ingénierie, accorder une attention particulière aux dimensions temporelles : inclure les hiérarchies de jour, de semaine, de mois, de trimestre et d'année, ainsi que les calendriers spécifiques à l'ingénierie (années financières, jalons du projet).

3. Conception du pipeline ETL

Pour les données d'ingénierie, l'étape de transformation nécessite souvent une analyse personnalisée parce que des sources comme les outils d'analyse d'éléments finis produisent des journaux de texte énormes ou des fichiers CSV avec des délimiteurs non standard. Envisagez d'utiliser un outil ETL dédié comme Apache NiFi, Talend ou des services cloud comme AWS Glue ou Azure Data Factory. De nombreuses équipes utilisent également des scripts Python pour des transformations complexes. Le pipeline doit fonctionner sur un calendrier (quotidiennement ou horaire) et inclure la gestion des erreurs et la tenue de registres.

4. Sélection de la plateforme

Choisissez une plateforme d'entrepôt de données qui équilibre le coût, l'évolutivité et l'intégration avec votre chaîne d'outils existante. Les options les plus populaires sont les suivantes:

  • Amazon Redshift:[ Un entrepôt cloud entièrement géré avec stockage colonnelaire et une bonne intégration avec les services AWS.
  • Google BigQuery: Sans serveur et très évolutive, avec des capacités d'apprentissage automatique intégrées. Idéal pour les équipes qui veulent des frais généraux opérationnels faibles.
  • Snowflake: Se sépare du stockage, permettant une échelle élastique. Excellent pour les charges de travail qui fluctuent.
  • Directus: Bien que Directus ne soit pas un entrepôt de données lui-même, il peut servir de couche de gestion de données puissante. En connectant les bases de données source d'ingénierie à l'API de Directus, vous pouvez créer une interface unifiée pour extraire, nettoyer et synchroniser les données dans votre entrepôt choisi. Directus fournit également des contrôles d'accès basés sur le rôle et un constructeur de tableau de bord sans code, ce qui facilite la prévisualisation et la vérification des données avant l'entreposage par les équipes d'ingénierie.

Évaluer chacun d'eux en fonction de votre volume de données, de votre budget et de votre expertise interne. Une preuve de conception avec un sous-ensemble de données réelles est inestimable.

5. Chargement et validation

Chargez vos données transformées dans l'entrepôt en utilisant des mises à jour complètes ou des charges supplémentaires. Pour les données d'ingénierie, les charges supplémentaires sont préférées parce que les enregistrements historiques changent rarement. Après chaque chargement, lancez des requêtes de validation : vérifiez le nombre de lignes, les mesures de clés agrégées et comparez-les aux systèmes sources.

6. Établissement de rapports et d ' analyses

Une fois les données chargées, créez des tableaux de bord et des rapports qui répondent aux questions originales. Utilisez des outils BI comme Tableau, Power BI ou un frontend personnalisé (par exemple, construit sur Directus). Pour l'analyse ad-hoc, permet aux ingénieurs d'exécuter des requêtes SQL contre l'entrepôt. Fournissez la documentation sur le schéma et des requêtes d'échantillons pour encourager l'adoption.

Meilleures pratiques pour l'entreposage à long terme

Les données techniques doivent souvent être conservées pendant des années, voire des décennies. L'application de ces meilleures pratiques garantit que l'entrepôt reste précieux et durable au fil du temps.

  • Sauvegardes régulières :[ Même les entrepôts en nuage ont des scénarios de défaillance. Planifiez des instantanés automatisés ou exportez des tableaux critiques pour séparer le stockage.
  • Sécurité des données:[ Les données techniques peuvent contenir des informations essentielles en matière de propriété intellectuelle ou de sécurité.Mettez en œuvre le contrôle d'accès basé sur le rôle (RBC), chiffrez les données au repos et en transit et vérifiez tous les accès.
  • Infrastructure évolutive:[ Choisissez une plateforme qui peut augmenter le stockage sans temps d'arrêt. Les entrepôts Cloud comme BigQuery et Snowflake à l'échelle automatique. Définir des politiques de conservation des données (p. ex. déplacer les données de plus de cinq ans vers un stockage à froid moins cher) pour contrôler les coûts.
  • Gestion des métadonnées:[ Tenir un catalogue de données qui décrit chaque table, colonne et transformation. Inclure les définitions d'entreprise (p. ex., taux d'échec = nombre de défaillances / total des unités testées). Ces métadonnées sont essentielles lorsque les membres de l'équipe originale ne sont plus disponibles.
  • Gestion du cycle de vie des données: Toutes les données d'ingénierie ne doivent pas être chaudes. Archiver les journaux de capteur bruts pour le stockage d'objets moins cher (Amazon S3 Glacier ou Azure Archive) après une période définie, tout en conservant des résumés agrégés dans l'entrepôt pour une requête rapide. Automatiser le processus d'archivage.
  • Version et provenance:[ Lors du chargement de nouvelles données, conservez le fichier source ou la version originale. Pour les données CAO, entreposez le numéro de version et l'identificateur unique de l'outil de conception. Cela permet de retracer toute valeur déclarée à son origine.
  • Compliance et détention légale:[ Comprendre les exigences réglementaires en matière de conservation des données (p. ex. AS9100, ISO 13485, 21 CFR Partie 11). Veiller à ce que l'entrepôt puisse empêcher la suppression des documents assujettis à la détention légale.

Cas d'utilisations réelles dans le monde

OEM automobile

Un constructeur automobile a intégré ses systèmes de gestion des gaz, de piste d'essai et de qualité des fournisseurs dans un entrepôt de Snowflake. Les ingénieurs peuvent maintenant interroger -tous les véhicules avec un lot donné de corps d'accélérateurs qui ont échoué à des tests de dissipation thermique et qui sont en corrélation avec des changements de conception depuis cinq ans.

Surveillance sanitaire structurelle

Une firme de génie civil recueille des données à partir de jauges de contrainte et d'accéléromètres installés sur un pont. Elle utilise une application avec support Directus pour gérer le réseau de capteurs et pousser les données nettoyées dans Amazon Redshift. L'entrepôt stocke une décennie de lectures, permettant une analyse de tendance à long terme de déviation.

Énergie et services publics

Un exploitant d'un parc éolien charge les données SCADA (turbines, température, puissance) dans Google BigQuery. L'entrepôt stocke des échantillons bruts de 10 secondes pendant un an, puis les roule en moyennes horaires pour les dix prochaines années. Cette approche équilibre les détails avec les coûts.

Conclusion

En centralisant diverses sources dans un dépôt structuré et convivial, les organisations conservent leur historique d'ingénierie et débloquent des informations qui stimulent l'innovation, la qualité et la conformité. La mise en œuvre nécessite une planification minutieuse, allant de la compréhension des questions à répondre, à la modélisation du schéma, à la sélection d'une plateforme évolutive.

Les équipes d'ingénierie qui investissent dans un entrepôt adéquat aujourd'hui se trouveront mieux équipées pour répondre aux demandes de données de demain : plus de capteurs, plus de simulations et plus de pression pour transformer les données historiques en avantage concurrentiel. Commencez par vérifier vos actifs de données existants, choisir un petit cas d'utilisation, mais à haute valeur, et construire à partir de là. Le bénéfice à long terme est une source unique de vérité qui sert les ingénieurs et l'organisation pour les années à venir.