تطبيق التعلم في مجال تعزيز تحسين الرقابة التكيفية في النظم المعقدة

مقدمة: تحدي الرقابة التكيفية في النظم الديناميكية

فالنظم الهندسية والصناعية الحديثة تعمل في ظل ظروف دائمة من حمولات التغير والاضطرابات البيئية وتدهور المكونات ومتطلبات الأداء المتغيرة، أما نظرية الرقابة التقليدية، مع وجود نظم خطية ذات ديناميات محددة جيدا، فإنها غالبا ما تكون قصيرة عندما تطبق على بيئات معقدة وغير خطية أو ذات قدرة على إحداث تغيير زمني، وقد تُستخدم الرقابة التبعية كمنهجية لتعديل معايير التحكم الاصطناعي بصورة تلقائية استجابة لتطورات النظم.

ويتيح التعلُّم في مجال تعزيز القدرات نهجاً يستند إلى البيانات في مجال الرقابة التكيُّفية، ويتيح للنظم اكتشاف استراتيجيات تعظيم المكافأة التراكمية دون اشتراط نماذج واضحة للنظام، ومن خلال الجمع بين القانون الإقليمي وهياكل الرقابة التكيّفية، يمكن للمهندسين بناء نظم لا تستجيب للتغييرات فحسب، بل تُحسِّن أيضاً أدائها بمرور الوقت، وتستكشف هذه المادة المفاهيم الأساسية للشبكة، وكيف تعزز الرقابة التكيُّفية، والتطبيقات في العالم الحقيقي، والتحديات، والباحثين في المستقبل.

أساسيات تعزيز التعلم

إن التعلّم من أجل تعزيز النظام هو فرع للتعلم الآلي حيث يتعلم الوكيل اتخاذ تسلسل القرارات بالتفاعل مع بيئة ما، ويراقب الوكيل دولة ما ويتخذ إجراءً ويتلقى مكافأة وينتقل إلى دولة جديدة، ويستكمل الوكيل، في العديد من الحالات، رسمه السياساتي من الدول إلى اتخاذ إجراءات لتحقيق أقصى قدر ممكن من المكافأة التراكمية المتوقعة، وتميز هذه الارتدادات عن التعلم المشرف، الذي يتطلب بيانات موصّمة، وعن الأنماط غير المتحققة.

عمليات قرارات ماركوف

(أ) إن معظم المشاكل المتعلقة بالحرف التقريبي هي من عمليات قرارات ماركوف، ويعرّف برنامج التنمية المتوسطة بعلامة (S, A, G, R, ga) حيث تكون مجموعة الدول، ومجموعة الإجراءات، P(s) ⁇ s، (s) الاحتمال الانتقالي، R(s, a, s+) المكافأة الفورية، و(ga ⁇ [0,1] عامل الخصم الذي يكافئ المستقبل.

المهام القيمية والبحث في السياسات

وهناك هيكلان أساسيان في القانون الإقليمي هما وظيفة الدولة الخامسة (الدول) = E[G t ⁇ S t = s] ووظيفة التقييم (K) = E[G t ⁇ S t = s, A t = a]. Algoriize state-Networks (DQN) التقريبي للقيمة العالية،

الاستكشاف ضد الاستغلال

ويتمثل أحد التحديات الرئيسية في مجال البحث والتطوير في تحقيق التوازن بين الاستكشاف (محاولة اتخاذ إجراءات جديدة لاكتشاف نتائج أفضل) والاستغلال (إختبار الإجراءات المعروفة ذات التوجه العالي) والاستراتيجيات البسيطة مثل نهج " الأشعة " (e-greedy) والنهج الأكثر تطوراً مثل عينات من أعلى مستوى من الثقة، وفي مجال الرقابة التكييفية، يمكن أن يؤدي سوء الاستكشاف إلى حدوث إخفاقات كارثية، وبالتالي، كثيراً ما تكون هناك حاجة إلى تقنيات استكشاف مأمونة.

الرقابة التكيفية في النظم المعقدة

وتشير المراقبة التصحيحية إلى مجموعة من الأساليب التي تضبط بارامترات المراقبة على الإنترنت للحفاظ على الأداء المرغوب فيه على الرغم من أوجه عدم اليقين أو التباين في ديناميات النباتات، وتشمل البنيانات الكلاسيكية نموذجا للمراقبة المعيارية، ومنظمي التوحيد الذاتي، وغاين شيدولنغ، وتفترض هذه الأساليب عادة هيكلا معروفا (مثل نماذج البارامترات المميتة) وتعتمد على تحديد البارامترات أو على أدلة.

حدود الرقابة التقليدية على التكيف

وفي حين أن الرقابة التقليدية على التكيف تتسم بالفعالية في العديد من السيناريوهات، فإنها تواجه عدة قيود، أولا، تتطلب نموذجا دقيقا بدرجة معقولة لديناميات النظام، وقد يكون غير قابل للتأثر بالنظم غير المباشرة أو ذات الإطار الأسود، ثانيا، أنها غالبا ما تأخذ بارامترات متفاوتة ببطء، مما يجعلها هشة إلى تغييرات مفاجئة، ثالثا، يمكن أن تعاني من الانجراف في المظلات، ومن ضعف في الازلة، ومن عدم وجود نماذج للتكامل.

لماذا تعزيز التعلم يلائم الفجوة

ومن الطبيعي أن يتناول التعلُّم في مجال تعزيز التعليم العديد من هذه المسائل، ويمكن للعوامل المعنية بمكافحة غسل الأموال أن تتعلم أفضل السياسات على نحو خال من النماذج أو على أساس نموذجي، مما يقلل من الاعتماد على نماذج دقيقة للنظام، ويمكنها أن تعالج البيئات العالية الأبعاد وغير الخطية والضارة، ومن خلال التفاعل المستمر، يمكن لأجهزة المراقبة القائمة على القانون الإقليمي أن تتكيف مع التغييرات التدريجية والمفاجئة، علاوة على ذلك، تسمح أطر القانون الإقليمي بإدراج القيود ومواصفات السلامة عن طريق تحديد المكافآت على نحو أفضل من خلال تحديد المكافآت.

إدماج التعلم في مجال تعزيز القدرات في مجال الرقابة التكيفية

ويمكن تناول مسألة إدماج القانون الإقليمي في الرقابة التكييفية بطريقتين رئيسيتين: الرقابة المباشرة على القانون التجاري والرقابة غير المباشرة (على أساس نموذجي)، وفي الأساليب المباشرة، تُستخدم سياسة القانون الإقليمي في إجراءات الرقابة المباشرة على النواتج، وفي أساليب غير مباشرة، تستخدم المسؤولية عن النتائج لتحديث نموذج للنظام أو لتوحيد معايير لجهاز التحكم التقليدي، وقد ثبت نجاح النهجين في المحاكاة وتجربة العالم الحقيقي.

Direct RL-Based Control

وفي مجال المراقبة المباشرة لشبكة RL، فإن السياسة العامة للوكيل هي الجهة الرقابية، وفي كل خطوة، يلاحظ الوكيل حالة النظام (مثلاً، قراءات الاستشعار، إشارات الأخطاء) وينتج إجراء للمراقبة، وقد صممت وظيفة المكافأة بحيث تعكس أهداف الرقابة مثل التتبع، أو الحد من الأخطاء، أو كفاءة الطاقة، أو هوامش الاستقرار.

مثال: سيطرة الكوادر على التركة

(ب) أن تُظهر العناصر المكونة للكميات الدينامية السريعة وغير الخطية التي تُحدث تقارباً قوياً بين الفؤوس، وتحتاج الجهات التقليدية لمراقبة PID إلى تدقيق دقيق في نظم الطيران، ويمكن نقل سياسات RL التي تُدرَّب على المحاكاة إلى أجهزة عدائية لتحقيق المناورات العدوانية مع الحفاظ على الاستقرار، وقد تُعاقب على خطأ الارتفاع، والمعدلات العُزلية، وجهود المراقبة.

المراقبة غير المباشرة

(ج) استخدام أساليب غير مباشرة للتحكم في التكيف لتعزيز القائمين على التكييف، فعلى سبيل المثال، يمكن لوكيل من موظفي القانون الإقليمي أن يتعلم تعديل مصفوفة كسب نظام تقييم النتائج، وتحديث بارامترات نموذج رياضي يستخدمه متحكم تنبؤي، أو اختيار مجموعة من قوانين الرقابة المحددة مسبقاً، ويحتفظ هذا النهج الهجين بضمانات الاستقرار للطرق التقليدية مع إضافة قدرات على تحقيق التكيُّف الأمثل.

الاستكشاف والسلامة

السلامة أثناء التعلم هي مصدر قلق بالغ، فالاستكشاف في النظم المادية يمكن أن يكون خطيراً، إذ أن التقنيات مثل القيود القائمة على ليابونوف، ومستويات السلامة الأساسية (مثل الرصد الذي يجري على أساس الزمن والذي يتجاوز الإجراءات)، والمعاملات الخوارزمية الآمنة (مثلاً، التخدير الصناعي المستمر)، توفر آليات للمخاطر المحتمَلة. Amodei وآخرون (2016)

التطبيقات العالمية الحقيقية للتحكم الإيجابي المعزز

وقد تجاوز الجمع بين القانون الإقليمي والتحكم التكييفي النماذج الأكاديمية إلى النظم الصناعية والتجارية، ونقوم بمسح عدة مجالات يؤدي فيها هذا النهج إلى تحسينات كبيرة.

الأجهزة والتلاعب

وقد نجحت النظم الآلية العاملة في بيئات غير منظمة مثل التصنيع أو الجراحة أو الاستجابة للكوارث في التكيف مع الحمولات المتغيرة والملابس والاضطرابات البيئية، ونجحت أجهزة التحكم المدربة على القانون في مهام مثل الاستيلاء على الجسم والتجمع والعزل. ومن غير المحتمل أن يكون نظاماً عميقاً من نظم المسؤولية قبل المعهد الوطني للأخشاب المدارية (2019)

المركبات المستقلة

ويجب أن تبحر السيارات ذات القيادة الذاتية في ظروف مختلفة من الطرق والطقس وأنماط المرور، وتساعد المراقبة التصحيحية على الحفاظ على السيطرة الأفقية والطولية المستقرة على الرغم من تباين الاحتكاك أو الحمل بالإطارات، ويمكن للشبكة أن تتعلم أفضل الملامح السريعة لاقتصاد الوقود أو تكييف استراتيجيات حفظ الممرات في مختلف أسطح الطرق، وتستخدم الشركات مثل وايمو وتيسلا نظاما لتخطيط الحركة والتحكم فيها.

مراقبة العمليات الصناعية

(ب) المفاعلات الكيميائية، وأعمدة التحلل، ومصانع الطاقة تعمل باستمرار مع بارامترات منحرفة بسبب التحلل أو التآكل الحفاز، وقد يتطلب متحكمو التكييف التقليديون إعادة الدراسة.() ويمكن للخوارزميات القائمة على القانون RL أن تتعلم تعديل نقاط تحديد أو التلاعب بالأصداف للحفاظ على جودة المنتجات مع التقليل إلى أدنى حد من استهلاك الطاقة.()

نظم الطاقة وضغوطات الذكاء

وتُدخل مصادر الطاقة المتجددة عدم يقين في شبكات الطاقة بسبب التقاطع، ويمكن لمراقبي الأراضي الإقليمية إدارة تخزين الطاقة، وتعديل تدفقات الطاقة، وتنظيم الفولط في الوقت الحقيقي، والتحكم الإيجابي أساسي كتغييرات في علم الطبقات الجغرافية (مثلاً، المخارج) وقد طُبق القانون على المحصول المجهرية، وتركيب الطوارئ، وبناء إدارة الطاقة، وتحقيق كفاءة أفضل ومرونة.

التحديات واستراتيجيات التخفيف

ورغم النجاحات، فإن نشر القانون الإقليمي في مجال الرقابة التكييفية يواجه عدة عقبات يجب معالجتها من أجل اعتماده على نطاق واسع.

الكفاءة والحساب

ويتطلب العديد من خوارزميات القانون الإقليمي العديد من التفاعلات مع البيئة للترابط، وفي النظم المادية، يكون هذا مكلفاً أو خطيراً، حيث يتعلم الوكيل نموذجاً دينامياً وخططاً باستخدامه، يمكن أن يحسن كفاءة العينات، كما أن التعلم في مجال النقل والتعلم المتطور يقلل أيضاً من عدد المحاكمات اللازمة عن طريق الاستفادة من الخبرة السابقة المستمدة من المهام ذات الصلة.

السلامة والسطو

وقد تفشل سياسة القانون الإقليمي التي تُعرف في حالة واحدة عندما يختبر النظام أوضاعاً غير مرئية، كما أن الكشف عن عدم التوزيع والنماذج المجمعة والتدريب القوي (مثل عشوائيات النطاق) يساعد على تحسين الموثوقية، وبالإضافة إلى ذلك، يمكن أن توفر أساليب التحقق الرسمية ضمانات بشأن سلوك السياسات في البيئات الملزَمة.

ضبط النفس في الوقت الحقيقي

وكثيراً ما تتطلب حلقات المراقبة عملية اتخاذ القرارات على المستوى الثاني من الألفية، ويمكن أن تكون سياسات الشبكة العصبية العميقة ثقيلة حسابياً، بينما يستكمل نموذج المعدات الحاسوبية (GPUs, FPGAs) ويخفف المحركات المستخدمة في استخدام الأجهزة المرجعية من درجة الحرارة إلى أقصى حد، وفي العديد من التطبيقات الصناعية، يدير جهاز مراقبة خط الأساس السريع الحلقة الرئيسية بينما يقوم وكيل إدارة السجلات بتحديث البارامترات المتعلقة ببطء زمني.

التصميمات المعادية

إن تصميم وظيفة مكافأة تستوعب جميع أهداف الرقابة (مثل الاستقرار والأداء والسلامة) دون عواقب غير مقصودة أمر غير مقصود، وقد يساعد على ذلك التعلُّم على التعزيزات العكسية وتقنيات تشكيل المكافآت، وقد يلزم، في مجال الرقابة التكييفية، أن تكون المكافأة مُؤقتة، مثل معاقبة الدولة على التجاوزات خلال مرحلة التعلم بقدر أكبر من الات عندما يقترب النظام من عملية الإنتاج.

الاتجاهات المستقبلية في مجال الرقابة على التكيف المعززة

وتواصل البحوث دفع الحدود، بهدف إيجاد نظم تتعلم بسرعة، وتعمل بأمان، وتعمم عبر المهام.

الخوارزميات الآمنة والكفؤة

وتشكل المعالم التي تضمن قيود السلامة أثناء التعلم (مثلاً، برامج التنمية المتعددة الأبعاد المكثفة، وتحديثات ليابونوف) مجال تركيز رئيسي، إذ يتيح الجمع بين القانون الإقليمي والتحكم التنبؤي النموذجي استخدام النماذج المتعلمة مع الحفاظ على الاستقرار من خلال تصحيح الأفق على النحو الأمثل. A 2021، المسح النموذجي

Multi-Agent and Hierarchical RL

وكثيرا ما تتألف النظم المعقدة من نظم فرعية متعددة التفاعلات، ويتيح القانون الإقليمي المتعدد الوكلاء رقابة منسقة، مثل شبكات المرور أو شبكات الطاقة، ويلغي النظام الهرمي مهامه في مكاتب فرعية رفيعة المستوى، وإجراءات بدائية أقل مستوى، مما يتيح التخطيط الطويل الأجل والتعلم السريع.

النقل من مرحلة إلى أخرى

ولا يزال نقل السياسات المتعلّقة بالتحفيز على المعدات المادية يمثل تحدياً بسبب الفجوة بين المقاصد والأغراض، فالإدامة العشوائية، وتحديد النظم، والتدريب القوي هي سبل انتصاف مشتركة، وقد تتيح التطورات في محاكاة الفيزياء المختلفة قريباً التعلم النهائي الذي يُفضي مباشرة إلى الأداء في العالم الحقيقي.

التكامل مع التوائم الرقمية

ويمكن لوكيل القانون الجنائي أن يتعلم في التوأم الرقمي - التواريخ الافتراضية للنظم المادية - أن يوفر بيئة آمنة للتدريب على القانون RL والتحسين المستمر، وأن يستكمل الشاحن الحقيقي بأقل قدر من التعطل، وهذا النهج يكتسب زخماً في الصناعة التحويلية والفضاء الجوي.

خاتمة

ويتيح التعلم من أجل تعزيز القدرات مجموعة قوية من الأدوات لتحسين الرقابة على التكيف في النظم المعقدة والدينامية، ومن خلال الاستفادة من السياسات القائمة على البيانات، يتيح نظام RL النظم التعلم من التجربة، والتكيف مع التغيرات غير المتوقعة، وتحقيق الأداء الأمثل بما يتجاوز نطاق طرق الرقابة التقليدية، وفي حين أن التحديات مثل كفاءة العينات، والسلامة، والتنفيذ في الوقت الحقيقي لا تزال مجالات بحث نشطة، فإن المسارات واضحة: