Comprendre la vérification et la validation

La vérification et la validation constituent l'épine dorsale de l'assurance de la qualité dans l'ingénierie des systèmes, mais elles servent à des fins distinctes.La vérification est un processus statique et dynamique qui répond, "Est-ce que nous construisons le produit correctement?" Il s'assure que chaque composant du système et le système intégré sont conformes à ses exigences spécifiées.Il s'agit notamment de vérifier la documentation de conception, d'effectuer des examens de code, de mener des inspections et de réaliser des essais d'unités.

Par exemple, dans le cadre d'un projet de système ADAS automobile (Advanced Driver-Assistance Systems), la vérification pourrait consister à vérifier que l'algorithme de fusion des capteurs produit une sortie correcte en fonction des entrées spécifiques, tandis que la validation impliquerait de tester le véhicule dans des conditions réelles de circulation afin de s'assurer que le système évite les obstacles en toute sécurité.

Pourquoi un plan V&V robuste compte

Selon le Manuel d'ingénierie des systèmes INCOSE, les défauts constatés plus tard dans le cycle de vie du développement peuvent coûter 10 à 100 fois plus cher à corriger que ceux qui ont été capturés tôt. Un plan robuste aide à cerner les problèmes au plus tôt possible, réduit les travaux de retravail et fournit des preuves objectives de la qualité du système. Il soutient également la conformité réglementaire dans des industries comme l'aérospatiale, les dispositifs médicaux et la défense, où la validation des fonctions critiques en matière de sécurité est obligatoire.

De plus, un plan de V et V bien structuré renforce la confiance des intervenants. Les clients et les utilisateurs finaux acquièrent confiance lorsqu'ils voient un chemin clair et traçable des exigences aux résultats de test. Cette transparence peut également réduire les différends contractuels et faciliter des tests d'acceptation plus faciles.

Composantes clés d'un plan de V et V

Un plan complet de V&V comprend généralement les éléments suivants, dont nous allons développer chacun dans les sections suivantes :

  • Scope et objectifs:[ Définit quelles parties du système doivent être vérifiées/validées et quels sont les objectifs globaux.
  • Requirements Traçabilité Matrice (RTM) :[ Relier chaque exigence à des activités V&V spécifiques et à des cas d'essai.
  • Stratégie d'essai: Description des méthodes (p. ex. inspection, analyse, démonstration, essai) et du niveau de rigueur.
  • Procédures et cas d'essai: Étapes, intrants, extrants attendus et critères de réussite/échec détaillés.
  • Ressources allouées: Personnel, outils, environnements d'essai et budget.
  • Échéancier et jalons : Phases de V&V alignées sur le plan de développement.
  • Gestion des risques :[ Identification des risques critiques et de l'accent correspondant sur les V et V.
  • Gestion des données et documentation: Comment les résultats seront enregistrés, stockés et déclarés.
  • Critères d'acceptation :[ Critères officiels de départ/de départ pour chaque grande barrière d'examen.

Processus étape par étape pour élaborer un plan V et V robuste

1. Définir des objectifs clairs

Par exemple, dans un projet d'instrument médical, un objectif pourrait être : - Vérifier que la précision de la vitesse de la pompe à perfusion reste à ±2 % dans toutes les conditions d'exploitation spécifiées et valider que les utilisateurs cliniques peuvent utiliser l'instrument sans erreur. - Les objectifs doivent être mesurables et liés à des exigences spécifiques ou aux besoins de l'utilisateur.

2. Rassembler et analyser les exigences

Recueillir toutes les exigences du système à partir des spécifications, y compris les exigences fonctionnelles, de performance, d'interface, de sûreté, de sécurité, de réglementation et environnementales.C'est là qu'une matrice de traçabilité des exigences (TMR) devient inestimable.Chaque exigence doit être identifiée de façon unique et être associée à une ou plusieurs activités V et V. Par exemple, une exigence -Le système doit répondre à l'entrée de l'utilisateur dans un délai de 100 ms-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s-s

3. Élaborer des stratégies d'essai V et V

Selon le type d'exigence, choisissez les méthodes appropriées. Les méthodes communes sont les suivantes :

  • Inspection : Vérifications visuelles ou manuelles de la documentation, des artefacts de conception et du code (p. ex., examens par les pairs, vérifications de liste de contrôle).
  • Analyse : Utiliser la modélisation, la simulation ou les calculs mathématiques pour démontrer qu'une exigence est remplie (p. ex. analyse du stress, analyse du moment).
  • Démonstration: Démontrant que le système peut exécuter une fonction dans des conditions spécifiées, souvent avec un instrument minimal (p. ex. allumer un voyant lumineux).
  • Test: Exécution formelle et contrôlée du système avec entrées et sorties mesurées (p. ex. essais unitaires, essais d'intégration, essais système).

Pour les exigences essentielles à la sécurité, il peut être nécessaire de recourir à plusieurs méthodes (test et analyse, par exemple).

4. Conception de cas d ' épreuve détaillés

Pour chaque exigence, les cas d'essai de conception qui couvrent le fonctionnement normal, les conditions limites, la manipulation des erreurs et les scénarios les plus défavorables devraient comprendre :

  • Identification unique du cas d'essai
  • Numéro(s) d'identification requis validé(s)
  • Préconditions (p. ex. état du système, configuration environnementale)
  • Procédures d'essai étape par étape
  • Données d'entrée (y compris les variations)
  • Résultats escomptés avec critères d'acceptation
  • Conditions après-vente

Par exemple, si un capteur de température doit fonctionner entre -40°C et +85°C, les cas d'essai doivent comprendre -40°C, +85°C, une valeur juste en dessous de -40°C, une valeur juste au-dessus de +85°C et des valeurs typiques dans la gamme.

5. Affecter efficacement les ressources

La planification des ressources consiste à identifier le personnel (ingénieurs d'essai, experts de domaine, experts en la matière), l'équipement d'essai (oscilloscopes, simulateurs de charge, chambres environnementales), les outils logiciels (cadres d'automatisation des essais, outils de gestion des besoins) et les installations (laboratoires, pistes d'essai) nécessaires.

6. Activités prévues à l'annexe V et V

Intégrer les activités V et V dans le calendrier global du projet. Idéalement, V et V devrait commencer le plus tôt possible, même pendant les phases de conception et d'exigences. Utiliser une approche par étapes : vérification au niveau de l'unité pendant le développement, vérification de l'intégration en tant que composantes combinées et validation au niveau du système plus tard. Veiller à ce que les dépendances soient comptabilisées (p. ex., l'intégration du système doit être complète avant la validation au niveau du système).

7. Définir les critères d'acceptation et les critères de réussite

Pour chaque activité V&V, définissez ce qui constitue un succès ou un échec.Ces critères doivent être objectifs et sans ambiguïté. Exemples : -Toutes les étapes de test effectuées sans erreur; temps de montée mesuré < 5 ms; no safety violations observed.” Also define system-level acceptance criteria for formal delivery, such as “All high-priority verification items passed; all critical validation scenarios successful; no open anomalies with severity > 2.-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Pratiques exemplaires pour la planification rigoureuse des V et V

Faire participer les intervenants tôt et souvent

Participer non seulement à l'équipe du projet, mais aussi aux clients, aux utilisateurs finaux, aux représentants de la réglementation et aux ingénieurs d'essai pendant la planification des V&V. Leur contribution aide à définir des scénarios d'essai réalistes, à identifier des hypothèses cachées et à s'assurer que les tests de validation reflètent vraiment l'utilisation opérationnelle.

Maintenir la traçabilité tout au long

Une matrice de traçabilité des exigences (TMR) est essentielle, mais elle devrait aller au-delà de la mise en relation des exigences avec les cas d'essai, elle devrait aussi être liée aux spécifications, aux documents de conception, aux évaluations des risques, voire aux rapports de défaut.

Embrassez l'automatisation là où cela est faisable

L'automatisation est particulièrement utile pour la vérification des interfaces, des transformations de données et des repères de performance. Cependant, pour la validation de l'expérience utilisateur ou du comportement réel de l'environnement, les tests manuels et le jugement d'expert restent importants.

Documenter avec précision et exactitude

Toutes les activités de V&V doivent être documentées avec suffisamment de détails pour appuyer les vérifications et l'entretien futur, notamment les plans d'essai, les procédures d'essai, les résultats d'essai (avec des preuves de réussite/échec), les rapports d'anomalie et les matrices de traçabilité.

Examiner et mettre à jour le plan itératif

La planification des V&V n'est pas une activité ponctuelle. À mesure que le système évolue, de nouvelles exigences apparaissent, des changements de conception sont apportés et des leçons sont tirées des premiers tests.L'examen périodique du plan de V&V est prévu, par exemple après chaque rejet majeur ou à la fin de chaque phase de développement.

Pièges fréquents à éviter

  • Le démarrage de V&V trop tard : L'attente jusqu'à ce que le codage soit terminé entraîne souvent des défauts manqués et des travaux coûteux.
  • Couverture insuffisante des tests:[ Surtout pour les cas de coin et la manipulation des erreurs.
  • Pour les exigences critiques, l'utilisation d'une seule méthode de V&V sans test réel peut laisser des défauts cachés.
  • Lac d'indépendance:[ Lorsque les développeurs testent leur propre code, ils peuvent ignorer les défauts. Utilisez une équipe indépendante V&V ou au moins un examinateur distinct.
  • Ignorer les exigences non fonctionnelles:[ La performance, la sécurité, la fiabilité et la facilité d'utilisation nécessitent des activités V et V dédiées, et non seulement des tests fonctionnels.
  • La mauvaise communication des résultats :[ Le fait de ne pas partager l'état V&V et les anomalies avec l'équipe de projet élargie peut entraîner des changements non coordonnés.

Application réelle : une étude de cas

Envisager un projet visant à mettre au point un nouveau système de contrôle de vol pour un véhicule aérien sans pilote (VV).

  • Vérification du logiciel de pilotage automatique à l'aide de simulations de modèle en boucle (méthode d'analyse) pour confirmer que les lois de contrôle respectent les marges de stabilité.
  • Test d'intégration de l'interface hardware-software à l'aide de bancs de test hardware-in-the-loop (méthode d'essai).
  • Vols de validation dans un espace aérien contrôlé avec un pilote de sécurité (démonstration + test).
  • Inspection du code pour vérifier la conformité aux objectifs du DO-178C.

Le plan retracerait chaque exigence (p. ex., l'UAV doit maintenir l'altitude à ±10 pi dans des vents soutenus de 20 noeuds) jusqu'à des cas précis de simulation et de tests en vol réels. Le calendrier permettrait de nombreuses itérations : d'abord vérification de simulation, puis essais au sol, puis vols limités, et enfin validation complète. En respectant un plan robuste, l'équipe réduit le risque d'un accident en raison d'une défaillance logicielle non détectée.

Outils et technologies pour les V et V modernes

Les outils de levier peuvent améliorer de façon significative l'efficacité de la V et V. Certains outils couramment utilisés sont les suivants :

  • Gestion des exigences: IBM DOORS, Jama Connect, Siemens Polarion
  • Gestion des tests: Micro Focus ALM, Jira avec Zephyr, TestRail
  • Essais automatisés:[ Sélénium, Appium, Cadre robotisé, Jenkins (CI/CD)
  • Simulation et analyse: MATLAB/Simulink, Ansys, Modelica
  • Traçabilité: Cameo Systems Modeler, Enterprise Architect

Ces outils peuvent automatiser la traçabilité, générer des rapports, gérer la version et s'intégrer aux environnements de développement. Cependant, éviter la sur-automation dans les cas où le jugement humain est crucial, comme la validation de la convivialité.

Intégration de la V et V avec Agile et DevOps

Dans Agile, la vérification est effectuée en continu par des tests automatisés d'unités et des tests d'intégration dans chaque sprint. La validation se produit à la fin de chaque sprint par des examens de sprint ou des démonstrations aux intervenants. Le plan V&V devrait être un document vivant qui définit, pour chaque caractéristique, les activités de vérification et de validation requises. Dans DevOps, le plan doit traiter de l'intégration continue (IC) et des pipelines de livraison continue (CD), en veillant à ce que les promotions automatisées des tests à la production en cas de défaillance deviennent critiques.

Conclusion : La voie vers des systèmes fiables

En comprenant les rôles distincts de la vérification et de la validation, en suivant un processus de planification structuré et en adoptant des pratiques exemplaires comme la participation précoce des intervenants, la traçabilité et l'automatisation, les ingénieurs en systèmes peuvent atténuer les risques de façon fondamentale. Le plan doit être vivant, évoluer parallèlement au système qu'il soutient et reposer sur une documentation et un examen rigoureux.

Pour plus de renseignements sur les méthodes V&V, voir SEBoK=s Vérification et validation et le INCOSE Guide de vérification. Pour des conseils réglementaires sur les systèmes d'instruments médicaux, le FDA=s Principes généraux de validation des logiciels[ fournit des indications utiles.

Souvenez-vous que le but d'un bon plan de V&V est de créer la confiance que le système fonctionnera comme prévu, à chaque fois.