تنفيذ نظام مراقبة أمثلية خالية من النماذج في النظم الدينامية العالية

فهم الرقابة النموذجية على الفرص

وتمثل المراقبة المثلى الخالية من النماذج تحولا في هندسة التحكم، لا سيما بالنسبة للنظم الدينامية للغاية التي تقصر فيها النُهج التقليدية القائمة على النموذج، وفي نظم مثل الطائرات الآلية المستقلة، أو المناولة الآلية في بيئات غير منظمة، أو خلايا التصنيع المرنة، يكون الحصول على نموذج الرياضيات دقيق للديناميات النباتية غير عملي أو مستحيلا، وفي كثير من الأحيان، فإن الأساليب الخالية من النماذج تعالج هذا من خلال تعلم سياسات التحكم المثلى مباشرة من البيانات التي تتطلب معلومات تفاعلية.

والمزايا الأساسية للمراقبة الخالية من النماذج تكمن في قدرتها على التكيف مع الديناميات المجهولة، وبدلا من الاعتماد على نموذج حاسوبي مسبق، يقوم المراقب باستكشاف حيز الإجراءات الحكومية واستخدام الملاحظات لتحسين الأداء تدريجيا، وهذا النهج القائم على البيانات يتوافق تماما مع القدرات الحديثة للاستشعار والحساب، مما يتيح تحقيق الاستخدام الأمثل في الوقت الحقيقي في البيئات التي كانت تعتبر في السابق معقدة للغاية بالنسبة لنظرية الرقابة التقليدية.

التقنيات الأساسية في مجال الرقابة الحرة النموذجية

وتندرج عدة منهجيات متميزة تحت مظلة الرقابة المثلى الخالية من النماذج، حيث أن كل منها يوفر مواطن قوة ومبادلات فريدة، وكثيرا ما يتوقف اختيار التكنولوجيا على طبيعة النظام والموارد الحاسوبية المتاحة ومتطلبات الأداء.

تعزيز التعلم

وقد برزت عملية التعلُّم في مجال الإنفاذ كإطار مهيمن للمراقبة الخالية من النماذج، ففي القانون الإقليمي، يتعلم أحد الوكيلات السياسة المثلى من خلال التفاعل المتكرر مع البيئة، ويتلقى مكافآت أو عقوبات على أفعاله، والفكرة الرئيسية هي تحقيق أقصى قدر من المكافأة التراكمية على مر الزمن دون اشتراط نموذج انتقالي، بينما تكون تقديرات القدرة على التكيُّف بين النظم ذات القيمة العالية، وأساليب أفضل في مجال تعزيز السياسات.

برمجة الديناميكية التكيفية

(أ) أن تكون البرمجة الدينامية التكيفية هي فئة من الأساليب التي تقارب بشكل متكرر وظيفة القيمة المثلى وسياسة الرقابة، وكثيرا ما تستخدم تقنيات برنامج التنمية الآسيوي الشبكات العصبية أو أجهزة قياس الوظائف الأخرى لتمثيل وظيفة القيمة والمراقب، وتشمل العملية المتكررة تقييم السياسات (تؤدي إلى زيادة وظيفة القيمة استنادا إلى السياسة الحالية) وتحسين السياسات (تؤدي إلى زيادة السياسة القائمة على وظيفة البرمجة الجديدة).

Evolutionary Algorithms

وتوفر الخوارزميات التوليدية نهجاً قائماً على السكان إزاء التفسير دون نماذج، بينما تُقيَّم تقنيات مثل الخوارزميات الجينية، والتطور التفاضلي، واستراتيجية تطور التكيف القائمة على التقلبات المتزامنة مع مجموعة من سياسات مراقبة المرشحين على الأجيال، وفي كل جيل، يتم تقييم السياسات على النظام الحقيقي أو على المحفز، ويُختار أفضل المُنفذين ويُختلقون.

تحديات التنفيذ واستراتيجيات التخفيف

ويشكل نشر الرقابة الخالية من النماذج في النظم الدينامية للغاية مجموعة من التحديات التي يجب التصدي لها لضمان التشغيل الآمن والمستقر والفعال، وتفصل الأقسام الفرعية التالية أكثر المسائل إلحاحاً والاستراتيجيات التي يستخدمها الباحثون والمهندسون للتغلب عليها.

قضايا الاستقرار والترابط

وكثيرا ما تفتقر الخوارزميات الخالية من النماذج إلى ضمانات الاستقرار الرسمي، لا سيما أثناء مرحلة التعلم، وفي النظم الدينامية، يمكن أن يتسبب مراقب غير مستقر في حدوث إخفاقات كارثية، ومن أجل التخفيف من ذلك، يستخدم الممارسون تقنيات مثل التوسع الأمثل (مثلا، إضافة قيود قوية إلى هدف التعلم)، واستخدام أساليب ليابونوف القائمة على إنفاذ الاستقرار، أو التدريب على المحاكاة مع الأخذ بنهج عشوائي في مجال المعرفة قبل نشر استراتيجيات الاستخدام الآمن تدريجيا.

الكفاءة والاستكشاف

وكثيرا ما تعمل النظم الدينامية العالية في فترات زمنية سريعة، مما يحد من عدد التفاعلات المتاحة للتعلم، كما أن الأساليب الخالية من النماذج هي غسيل العينات بشكل ملحوظ، وتحسين كفاءة العينات، وتقنيات مثل إعادة التلاعب بالخبرات (تخزين التحولات السابقة وإعادة استخدامها)، والتنقيب عن الاحترار القائم على النموذج (استخدام نموذج تقريبي لتوليد سياسات أولية)، والتعلم عن طريق الاستكشاف عن بعد (التعلم من البيانات التي تولدها مؤشرات السياسة المختلفة).

حوسبة للحواسيب في الوقت الحقيقي

أما الطلبات الحسابية للجرائم الخالية من النماذج - لا سيما تلك التي تستخدم شبكات عصبية عميقة - يمكن أن تكون ثقيلة، ففي النظم المدمجة أو حلقات التحكم العالية التردد، يجب أن يكتمل الاختبار في غضون ثواني، وتشمل الحلول تشغيل الشبكات، وتحديد الكمية، وتسريع المعدات (مثل الحد الأدنى من استخدام وحدات خفض الانبعاثات أو هياكل قياس القيمة المضافة) في بعض التطبيقات،

النهج الهجينية المتقدمة

ولجمع مواطن القوة في الأساليب القائمة على النماذج والخالية من النماذج، وضع الباحثون هياكل هجينة، مثلا، يمكن أن يولد عنصر نموذجي إجراءات رقابة أولية أو يوفر أفقا للتنبؤ قصير الأجل، في حين يتعلم عنصر خال من النماذج تصحيح أوجه عدم الدقة النموذجية أو معالجة الاضطرابات غير المتوقعة، ومن الهجينات الشائعة الأخرى استخدام نموذج مستفاد معفى جزئيا.

تطبيقات الرقابة النموذجية على الفرص

وقد أدت تعارض النهج الخالية من النماذج إلى اعتمادها في العديد من الصناعات، فيما يلي أمثلة موسعة لتطبيقات العالم الحقيقي.

المركبات الآلية والطائرات العمودية

كما أن المركبات المستقلة التي تعمل في حركة المرور غير المتوقعة أو تغير الطقس أو في التضاريس الخام تستفيد كثيرا من الرقابة الخالية من النماذج، وقد استخدمت الخوارزميات القائمة على RL لتدريب سياسات القيادة النهائية من مدخلات الكاميرا، مما يتيح للمركبات معالجة الحالات التي لا تصادف صراحة أثناء التدريب، كما أن المحاورين الذين يستخدمون الرقابة الخالية من النماذج قد أظهروا مرونة في البيئات الدينامية، مثل الطيران من خلال الغابات أو التكيف مع التغيرات في الحمولة دون استجمام نموذجي.

روبات في البيئات غير المهيكلة

وقد حقق المناشير الآلية المكلفة بفهم الأجسام غير المعروفة، أو التجمع في ظروف متغيرة، أو التلقيح على أساليب غير متجانسة خالية من النماذج المستخدمة في الأرض، التكيّف في الوقت الحقيقي، وقد وجدت الخوارزميات الثورية نجاحا في أنماط قذفية متطورة للآليات المسننة، بينما يتيح القانون RL التلاعب المكشوف بالارتفاع في الاستشعار عن اللمسات الأرضية.

نظم الطاقة والطاقة

وفي الشبكات الذكية والزجاجات الصغرى، فإن الطبيعة الدينامية للجيل المتجدد والطلب على الحمولة تجعل من الرقابة المثلى أمراً جذاباً، وقد طُبقت على المقاييس مثل برنامج التكيف الهيكلي لإدارة تخزين البطاريات، وتحقيق تدفق الطاقة على الوجه الأمثل، وتحقيق استقرار التردد في الوقت الحقيقي، كما أن التحكم في التركتين الرياح وبناء نظم HVAC تستفيد أيضاً من استراتيجيات مُعفىة من النماذج المكيفة التي تحسن كفاءة الطاقة دون اشتراط نماذج دقيقة حرارية أو هوائية.

مراقبة العمليات والهندسة الكيميائية

وكثيرا ما تظهر العمليات الكيميائية سلوكا غير خطي، وحياز زمني، يصعب استنباطه من المبادئ الأولى، وقد استخدمت الرقابة الخالية من النماذج في مراقبة درجة حرارة المفاعلات، ورسم عمود التحلل الأمثل، ومراقبة جودة البوليمرات، وتزيد هذه التطبيقات من قدرة الأساليب الخالية من النماذج على التعلم من بيانات العمليات والتكيف مع التحلل المحفز أو تغيرات المواد الوسيطة.

الاتجاهات المستقبلية

إن مجال التحكم الأمثل الخالية من النماذج يتطور بسرعة، وتشمل طرق الخلق التكامل بين تحديد كمية عدم اليقين لجعل القرارات قوية لتقوية التقريبات الخالية من النماذج، ودمج التعلم من الخارج والشبكة من أجل التكيف على مدى الحياة، ووضع ضمانات نظرية للسلامة والتقارب في الأماكن المستمرة لعمل الدول، وثمة حدود أخرى تتمثل في استخدام التحكم من خلال نظام متعدد العناصر، حيث يتفاعل متحكمون متعددون في نماذج القوة ويتعلمون السلوك الأمثل من دون اتصالات.

لمزيد من القراءة، انظر Wikipedia's overview of model-free control]، ] Research article on reinforcement learning for drone control ، و a survey of adaptive dynamic programming techniques.