كيفية وضع خطط للتحقق من الروبوت وتقييمه في الهندسة النظمية

فهم التحقق والتحقق

فالتحقق والتقدير يشكلان العمود الفقري لضمان الجودة في هندسة النظم، ولكنهما يخدمان أغراضاً متميزة، فالتحقق عملية ثابتة ودينامية تجيب على ذلك، ] هل نبني حق المنتج؟" يؤكد أن كل عنصر من عناصر النظام والنظام المتكامل يتفقان مع متطلباته المحددة، ويشمل ذلك التحقق من وثائق التصميم، وإجراء عمليات فحص، وإجراء اختبارات للوحدة بشأن القيمة الأخرى.

فعلى سبيل المثال، قد ينطوي التحقق في مشروع نظام إدارة السيارات (نظم المساعدة على السيارات) على اختبار أن خوارزمية الصمامات الحساسية تنتج ناتجا صحيحا نظرا لمدخلات محددة، في حين أن التحقق من شأنه أن ينطوي على إجراء اختبارات على المركبة في ظروف حركة المرور الحقيقية لضمان تجنب النظام للعقبات بأمان، وفهم هذا الفرق أمر حاسم عند تخطيط استراتيجية VV.

لماذا "روبوت فير" يُعنى بأمور

ويمكن أن تؤدي خطة الضعف أو الناقصة VV إلى تجاوز التكاليف، والتأخيرات في الجدول، بل وحتى حالات الفشل الكارثية، ووفقا لدليل الهندسة في النظم، فإن العيوب التي تكتشف لاحقا في دورة الحياة الإنمائية يمكن أن تكلف أكثر من 10 إلى 100 مرة لإصلاح تلك التي تم ضبطها في وقت مبكر، وتساعد خطة قوية على تحديد المسائل في أبكر مرحلة ممكنة، وتخفض من إعادة العمل، وتوفر أدلة موضوعية على جودة النظام، كما أنها تدعم الامتثال التنظيمي في الصناعات مثل الفضاء الجوي.

وعلاوة على ذلك، فإن خطة " VV " ذات بنية جيدة تُنشئ الثقة مع أصحاب المصلحة، ويكتسب الزبائن والمستعملون النهائيون الثقة عندما يرون مسارا واضحا يمكن تتبعه من المتطلبات إلى اختبار النتائج، ويمكن لهذه الشفافية أيضا أن تقلل من المنازعات التعاقدية وأن تيسر إجراء اختبارات أكثر سلاسة للقبول.

العناصر الرئيسية لخطة VV

وتشمل خطة شاملة لل VV عادة العناصر التالية، التي سنتوسع في كل منها في الأقسام التالية:

Scope and Objectives:] Defines which parts of the system are to be verified/validated and the overall goals.
Requirements Traceability Matrix (RTM):] Links each requirement to specific VV activities and test cases.
experiment Strategy:] Outlines the methods (e.g., inspection, analysis, demonstration, test) and the level of rigor.
حالات وإجراءات التجارب: ] Detailed steps, inputs, expected outputs, and pass/fail criteria.
Resource Allocation:] personnel, tools, test environments, and budget.
Schedule and Milestones:] Phases of VV aligned with the development plan.
Risk Management:] Identification of critical risks and corresponding VV emphasis.
Data Management and Documentation:] How results will be recorded, stored, and reported.
Acceptance Criteria:] Formal go/no-go criteria for each major review gate.

عملية تدريجية لوضع خطة آلية VV

1- تحديد الأهداف الواضحة

وابتداء من ذكر ما يجب أن يحققه الجهد المبذول في إطار برنامج VV، ينبغي أن تكون هذه الأهداف متفقة مع الأهداف العامة للمشروع، ففي مشروع للجهاز الطبي مثلا، قد يكون الهدف هو: " التحقق من أن دقة معدل الضخ لا تزال في حدود ٢ في المائة في ظل جميع شروط التشغيل المحددة، والتحقق من أن المستعملين السريريين يمكن أن يديروا الجهاز دون أخطاء " وينبغي أن تكون الأهداف قابلة للقياس ومرتبطة بمتطلبات محددة أو باحتياجات المستعملين المحددة.

2 - الاحتياجات من الجلـع والتحليل

(ج) جمع جميع متطلبات النظام من المواصفات، بما في ذلك المتطلبات الوظيفية والأداء والتفاعلية والسلامة والأمن والتنظيمية والبيئية، حيث تصبح مصفوفة القابلية للتعقب قيمة، وينبغي تحديد كل اشتراط على حدة ثم ربطه بأنشطة واحدة أو أكثر من أنشطة VV، وعلى سبيل المثال، فإن اشتراط " يستجيب النظام لمدخلات المستعملين في حدود 100 متر " يرتبط في كثير من الأحيان باختبارات التحقق من الأداء.

3- وضع استراتيجيات اختبارات للاختبارات

واستنادا إلى نوع الشرط، اختيار الأساليب المناسبة، والأساليب المشتركة هي:

Inspection:] Visual or manual checks of documentation, design artifacts, and code (e.g., peer reviews, checklist audits).
Analysis:] Using modeling, simulation, or mathematical calculations to demonstrate that a requirement is met (e.g., stress analysis, timing analysis).
Demonstration:] showing that the system can perform a function under specified conditions, often with minimal instrumentation (e.g., turn on an indicator light).
testing:] Formal, controlled execution of the system with measured inputs and outputs (e.g., unit tests, integration tests, system tests.

اختيار المجموعة الدنيا من الأساليب التي توفر أدلة كافية لكل شرط، وقد يلزم، بالنسبة للمتطلبات المتعلقة بالسلامة الحرجة، اتباع أساليب متعددة (مثل الاختبار والتحليل)().

4- حالات الاختبار التفصيلي

وبالنسبة لكل شرط، ينبغي أن تشمل حالات اختبار التصميم التي تشمل التشغيل العادي، وظروف الحدود، ومناولة الأخطاء، والسيناريوهات التي تسوء الحالة، وينبغي أن تشمل كل حالة اختبار ما يلي:

قضية الاختبار الوحيدة
هوية (أدوات) مطلوبة
الشروط المسبقة (مثل حالة النظام، والإنشاءات البيئية)
إجراءات الاختبار التدريجي
بيانات المدخلات (بما في ذلك التباينات)
النتائج المتوقعة مع معايير القبول
الشروط المسبقة

استخدام تقسيم المكافئات وتحليل القيمة الحدودية للتقليل إلى أدنى حد من عدد حالات الاختبار مع زيادة التغطية إلى أقصى حد، مثلاً إذا كان يتعين تشغيل جهاز استشعار درجة الحرارة بين 40 درجة مئوية و85 درجة مئوية، ينبغي أن تشمل حالات الاختبار - 40 درجة مئوية، +85 درجة مئوية، قيمة دون 40 درجة مئوية بقليل، قيمة أعلى بقليل من +85 درجة مئوية، والقيمة العادية في المدى البعيد.

5 - تخصيص الموارد بفعالية

ويشمل تخطيط الموارد تحديد الموظفين (مهندسون الاختبار، وخبراء المجالات، والخبراء المتخصصون)، ومعدات الاختبار (المناظير، ومحفزات الحمولة، والغرف البيئية)، وأدوات البرمجيات (أطر التشغيل الآلي، وأدوات إدارة الاحتياجات)، والمرافق (العمليات، وتتبع الاختبارات) التي قد تكون مطلوبة، وفي مشاريع كبيرة، قد يلزم إنشاء فريق مخصص للفحص المزود بالأجهزة، والنظر أيضا في ميزانية الاختبارات الخارجية، وخطط الأدوات، ومراقبتها، على نحو ما يلزم من تنقيح.

6 - الأنشطة المدرجة في الجدول الخامس

(ج) إدماج أنشطة VV في الجدول العام للمشروع، ومن الناحية المثالية، ينبغي أن تبدأ V.V في أقرب وقت ممكن خلال المتطلبات ومرحلات التصميم، وأن تستخدم نهجاً مترابطة: التحقق على مستوى الوحدة أثناء التطوير، والتحقق من التكامل كعنصر معاً، ثم التحقق على مستوى المنظومة، وأن تكفل حساب شهادات المعالين (مثلاً، يجب أن يكون التكامل على تصميمه كاملاً قبل التصديق على مستوى النظام).

7- معايير القبول ومقاييس النجاح

وبالنسبة لكل نشاط من أنشطة VV، يحدد ما يشكل تصاريح أو فشلا، ويجب أن تكون هذه المعايير موضوعية ولا لبس فيها، ومن الأمثلة على ذلك: " أن تكتمل جميع خطوات الاختبار دون خطأ؛ وأن تكون فترة الارتفاع المقاس < 5 ms; no safety violations observed.” Also define system-level acceptance criteria for formal delivery, such as “All high-priority verification items passed; all critical validation scenarios successful; no open anomalies with severity > 2. " مقاييس المسار مثل التقدم المحرز في التحقق (% من المتطلبات المتحقق منها)، وكثافة العيوب، وأن تعني الوقت بين الإخفاقات في التصديق.

أفضل الممارسات للتخطيط على أساس الارتداد

المستفيدون في وقت مبكر وفي كثير من الأحيان

:: إشراك فريق المشروع، وكذلك العملاء والمستعملين النهائيين والممثلين التنظيميين ومهندسي الاختبار أثناء التخطيط في شبكة VV، كما يساعد إسهامهم في تحديد سيناريوهات اختبار واقعية، وتحديد الافتراضات الخفية، وضمان أن تعكس اختبارات التحقق الاستخدام الفعلي.

الحفاظ على قابلية التصادم في جميع أنحاء العالم

ومن الضروري أن تشمل مصفوفة القابلية للتعقب، ولكن ينبغي أن تتجاوز إمكانية التتبع نطاق الربط بين متطلبات الاختبار وبين الحالات الاختبارية، كما ينبغي أن تربط بين المواصفات، ووثائق التصميم، وتقييم المخاطر، وحتى التقارير العيوب، مما يتيح تقييم أثر التغيير بسرعة، والتأكد من أن كل اشتراط قد تحقق، واستخدام أدوات مثل أجهزة تحديد الهوية، وجاما كونتيكت، أو القطبية للحفاظ على القدرة على التعقب تلقائيا.

التألق في الأماكن التي يمكن فيها الاستغناء عنها

ويمكن للاختبارات الآلية أن تقلل بشدة من الجهد اليدوي، وأن تزيد من قابلية التكرار، وتسرع اختبار التراجع، وأن تحقق في أطر التشغيل الآلي للاختبارات الخاصة بالوحدات، واختبارات نظام تقييم الأداء، واختبارات نظام رصد التنفيذ، ودليل التحقق من الوصلات البينية، وعمليات تحويل البيانات، ومقاييس الأداء، إلا أنه من المهم التحقق من خبرة المستعملين أو من سلوك البيئة في العالم الحقيقي، والاختبار اليدوي، وحكم الخبراء.

الوثيقة بشكل صحيح

ويجب توثيق جميع أنشطة VV بتفصيل كاف لدعم عمليات مراجعة الحسابات والصيانة في المستقبل، ويشمل ذلك خطط الاختبار، وإجراءات الاختبار، ونتائج الاختبار (مع بيانات المرور/الإثبات الافتراضي)، وتقارير الشذوذ، ومصفوفات القابلية للتعقب، ومراقبة النسخ لجميع الوثائق، وفي الصناعات المنظمة (مثلاً، الجزء 820 من قانون التجارة والتنمية، والجزء 13485 من القانون الجنائي)، يجب أن تتبع الوثائق إجراءات رسمية لمراقبة التغيير والتوقيع.

استعراض واستكمال الخطة بشكل تدريجي

فالتخطيط للمركبات ليس نشاطاً غير متكرر، فبينما يتطور النظام، تظهر احتياجات جديدة، وتطرأ تغييرات على التصميم، وتستخلص الدروس من الاختبار المبكر، فالاستعراضات الدورية للخطة VV مثلاً، بعد كل عملية إطلاق رئيسية أو في نهاية كل مرحلة من مراحل التنمية، على سبيل المثال، ينبغي أن يُعاد تحليل الأسباب الكامنة وراء فشل الاختبارات إلى الخطة لمنع تكرارها.

الشلالات المشتركة إلى أفويد

Starting VV too late:] Waiting until after coding is complete often leads to missed defects and costly rework. Integrate VV from the requirements phase onward.
Insufficient test coverage:] especially for corner cases and error handling. Use coverage analysis tools to identify untested paths.
Over-reliance on a single VV method:] For critical requirements, using only analysis without actual test can leave hidden flaws.
Lack of independence:] When developers test their own code, they may overlook defects. Use an independent VV team or at least a separate reviewer.
] Ignoring non-functional requirements:] Performance, security, reliable, and usability require dedicated VV activities, not just functioning testing.
Poor communication of results:] Failing to share VV status and anomalies with the broader project team can lead to uncoordinated changes.

التطبيق العالمي الحقيقي: دراسة حالة

النظر في مشروع لوضع نظام جديد لمراقبة الطيران لمركبة جوية غير مأهولة يمكن أن تشمل خطة VV ما يلي:

التحقق من البرامجيات الآلية باستخدام المحاكاة النموذجية في الموقع (طريقة التحليل) لتأكيد قوانين الرقابة التي تلبي هوامش الاستقرار.
إجراء اختبار تكامل للوصلات البينية للمعدات الحاسوبية باستخدام أجهزة اختبار في الهواء (آخر طريقة).
تحليقات تقييم في أجواء خاضعة للمراقبة مع طيار للسلامة (التشخيص + الاختبار).
فحص شفرة الامتثال لأهداف شعبة الرقابة - 178C.

وستترتب على الخطة اقتضاء كل شرط )مثلا، " يحافظ برنامج الطيران على ارتفاع في غضون ١٠ سطوات في رياح ثابتة تبلغ ٢٠ كيلومترا " ( إلى حالات اختبار محددة في اختبارات المحاكاة والرحلات الفعلية، وسيتيح الجدول الزمني إجراء عمليات تدقيق عديدة: أول عملية تحقق في المحاكاة، ثم اختبارات على الأرض، ثم رحلات محدودة، وأخيرا التحقق الكامل من صحة ذلك، ويقلل الفريق من خطر حدوث عطلات برمجية غير متوقعة.

الأدوات والتكنولوجيات اللازمة للبث الشبكي الحديث

ويمكن أن تؤدي أدوات التعبئة إلى تعزيز كفاءة استخدام المركبات VV بشكل كبير، وتشمل بعض الأدوات المستخدمة عموما ما يلي:

Requirements Management:] IBM DOORS, Jama Connect, Siemens Polarion
experiment Management:] Micro Focus ALM, Jira with Zephyr, TestRail
Automated Testing:] Selenium, Appium, Robot Framework, Jenkins (CI/CD)
Simulation and Analysis:] MATLAB/Simulink, Ansys, Modelica
Traceability:] Cameo Systems Modeler, Enterprise Architect

ويمكن لهذه الأدوات أن تتعقب آلياً، وتصدر تقارير، وتدير الصيغ، وتدمج مع البيئات الإنمائية، غير أن تجنب الإفراط في الصلاحية في الحالات التي يكون فيها الحكم الإنساني حاسماً، مثل التحقق من قابلية الاستخدام.

إدماج VV مع أغيلي و DevOps

كما أن خطط الإنتاج في العالم الواحد تقترن عادة بتطوير شلالات المياه، ولكنها ذات أهمية مماثلة في شركة أغيلي وشركة ديفوبس، ويجري التحقق باستمرار من خلال اختبارات الوحدات الآلية واختبارات التكامل في كل طبعة، كما أن تقييمها يحدث في نهاية كل طبعة من خلال استعراضات البصمات أو تأكيد إجراء تخفيضات في عدد أصحاب المصلحة، وينبغي أن تكون خطة VV وثيقة حية تحدد، بالنسبة لكل سمة، ما يلزم من أنشطة التحقق والتحقق المستمر.

الاستنتاج: الطريق إلى النظم الموثوقة

إن وضع خطة قوية للتحقق والتحقق ليس مجرد عملية فحص للصناديق - بل هو استثمار استراتيجي في نوعية النظم وسلامتها وترضية أصحاب المصلحة - بفهم الأدوار المتميزة للتحقق والتحقق، بعد عملية تخطيط منظمة، واعتماد أفضل الممارسات مثل إشراك أصحاب المصلحة في مرحلة مبكرة، وقابلية التتبع، والتشغيل الآلي، يمكن لمهندسي النظم أن يخففوا من المخاطر بصورة أساسية، ويجب أن تكون الخطة على قيد الحياة، وأن تتطور إلى جانب النظام الذي تدعمه، وأن تستند إلى وثائق واستعراض صارمين.

For further reading on V-V methodologies, refer to SEBoK’s Verification and Validation chapter and the INCOSE Verification guide. For regulatory guidance in medical organs systems, the FDA’s General Principles of Software Validation[6]

تذكروا أن الهدف من خطة جيدة في مجال العنف هو بناء الثقة بأن النظام سيعمل كما هو مقصود في كل مرة، مع التخطيط والتنفيذ الدقيقين، فإن هذه الثقة تكتسب.