فوائد استخدام التعلم في مجال الإنفاذ بدون نماذج من أجل تحقيق الاستخدام الأمثل لبارامترات الرمود

Algorithm Selection

وفيما يتعلق بأماكن العمل المستمرة، فإن أكثر الخوارزميات استخداما هي:

• Deep Deterministic Policy Gradient (DDPG)]: An actor-critic method that learns a deterministic policy and a Q-function. It is sample-efficient and works well in low-dimensional state spaces typical of PID tuning.
• Proximal Policy Optimization (PPO)]: A policy-gradient method that constrains the policy update to avoid destroy large changes. PPO is more stable across a wider range of hyperparameters and is often preferred for real-world systems where reliable matters.
• Twin Delayed DDPG (TD3)]: An improvement over DDPG that mitigates value overestimation, offering better performance and stability.

وبالنسبة للحالات البسيطة، المنخفضة الأبعاد، يمكن استخدام التعليم النوعي الأساسي أو السار، إذا تم تفريق الحيز المتاح للدولة والأماكن المخصصة للعمل، ولكن نادرا ما يكون ذلك عملياً من أجل مواصلة التقاط الكسب.

التدريب على المحاكاة ضد برنامج " البرمجيات الحقيقية "

ويتحمل تدريب عامل من عناصر القانون الجنائي على نظام مادي مباشرة مخاطر الضرر ويحتاج إلى العديد من الحلقات (بالآلاف المحتملة) للترابط، ويتمثل النهج المعياري في التدريب الأول في محفز رفيع المستوى، يستخدم محركاً فيزياء مثل موجوكو، غازيبو، أو توأم رقمي، ثم ينقل السياسة المتعلمة إلى النظام الحقيقي (النقل من مكان لآخر)

اعتبارات الهندسة المعمارية للشبكة العصبية

وفيما يتعلق بكسب البيوتاغات، فإن شبكات السياسات والقيمة هي عادة طبقة صغيرة أو ثلاث طبقات مخبأة بها 64-256 من الأعصاب، وتتطابق طبقة المدخلات مع البعد الحكومي (في كثير من الأحيان من 3 إلى 10)، وطبقة الإنتاج لديها ثلاثة أعصاب (في شكل حرق، أو في شكل حرق، أو في شكل حرق، وفي حالة وجود تذبذب في البيانات، أو في مرحلة التحلل، حيث يوجد حيز القرار.

التحديات والنظر في المسألة

الكفاءة الوافية والوقت المتزامن

وتتطلب عملية تحرير نظام RL، التي لا تصلح للنموذج، عادة، عشرات الآلاف إلى ملايين الوقت للالتقاء بسياسة جيدة، ولبطء عملية صناعية تتطابق فيها لحظة واحدة من الزمن الحقيقي، يمكن أن يستغرق التدريب ساعات أو أيام، وهذا حاجز رئيسي للتدريب المباشر على الإنترنت، وتشمل الحلول استخدام المحاكاة السريعة (يمكن للمحفز أن يُجرى أسرع من الزمن الحقيقي)، أو بيئة تدريب متوازية، أو نقل التعلم من مهمة مماثلة.

السلامة أثناء الاستكشاف

ويجب على وكيل القانون الإقليمي، أثناء التدريب، أن يستكشف حيز العمل لإيجاد سياسات أفضل، ويمكن أن يؤدي استكشاف المكاسب التي تجنيها أجهزة الشرطة إلى جعل المتحكم غير مستقر، أو يُنبذ برا أو يقود النظام إلى مناطق غير آمنة، ومن الضروري تنفيذ قيود السلامة: تقادم الإجراءات، والعقوبات المفروضة على تجاوز الحدود الآمنة، والإعادة الدورية إلى سياسة خط الأساس مستقرة معروفة، حيث لا يكون تدريب العناصر الرقابية المنخفضة المستوى غير آمنة.

Reward Engineering and Multi-Objective Trade-offs

ومن الصعب للغاية تصميم وظيفة مكافأة تؤدي إلى السلوك المرغوب دون التأثيرات الجانبية غير المقصودة، وقد يستغل هذا الوكيل وظيفة المكافأة بطرق لم يكن المصمم يتوقعها، على سبيل المثال، بالتسبب في حدوث تذبذبات سريعة تؤدي إلى تقليل الخطأ، بل تضر بالموقن بمرور الوقت، ومن المهم اختبار مختلف المكافآت في المحاكاة ورصد القياسات الإضافية أثناء التدريب، باستخدام مكافأة متأة مخففة (كشوفة).

الموارد الحاسوبية

ويحتاج تدريب وكلاء القانون العام إلى قوة حاسوبية كبيرة (GPU) لتحديث الشبكة العصبية) غير أنه نظراً لأن حيزات الدولة والعمل في مجال تدريب PID صغير، فإن الطلب على الحاسوب أقل بكثير من الطلب على اللعب أو الروبوتات التي تحتوي على مدخلات ذات رؤية رفيعة المستوى، فإن حاسوباً محمولاً حديثاً به جهاز تدريبي صغير المدى في غضون ساعات قليلة بالنسبة لمصنع بسيط نسبياً.

الترجمة الشفوية والتقدير

ومن ناحية أخرى، فإن أساليب الضبط التقليدية في PID تعطي نظرة واضحة على الرياضيات: كسب الهامش، والهامش التدريجي، والأماكن المتجذرة، وما إلى ذلك، وإحدى السياسات التي تعتمد على أساس RL، هي شبكة عصبية ذات صندوق أسود، وقد يتردد المهندسون في الثقة دون تحقق واسع النطاق، ومن أجل معالجة هذه المعايير يمكن أن يحلل السياسة المتعلمة بتفسير شروط التشغيل والتحقق من أن الحافظات الأولية هي خطوة.

التطبيقات العالمية الحقيقية ودراسات الحالات الإفرادية

وقد ثبت في عدة مجالات وجود تطعيم معتمد على نظام تبادل المعلومات بشأن التعريفات الجمركية (PID) خال من النماذج:

• Robotics:] Tuning joint-level PID controllers for manipulators leggedroidroid Robs to adapt to varying payloads or terrain. A study by researchers at ETH Zurich showed that DDPG could learn gain schedules for a quadcopt disturbance
• Process Control:] Optimizing PID cycles for temperature, pressure, and flow in chemical plantsيناً
• Power Electronics:] Tuning PID controllers for DC-DC converters and motor drives where varying load conditions degrade performance. RL-tuned controllers have shown faster transient recovery and better efficiency across operating points.
• Automotive:] Adaptive cruise control and suspension systems that learn to adjust PID parameters based on road conditions and driving fashion.

خاتمة

فالتعليم بالتقوية بدون نماذج يوفر مساراً قاهراً نحو تحقيق الحد الأمثل من البارامترات، لا سيما في النظم التي تتسم بعدم التقادم وعدم التيقن والديناميات المتغيرة، ومن خلال إزالة الحاجة إلى نماذج نباتية واضحة، والتكييف في الوقت الحقيقي، يمكن أن يؤدي إلى الحد بدرجة كبيرة من الجهد الهندسي وتحسين أداء الرقابة في التطبيقات المتطلبة، غير أنه يتعين على الممارسين أن يتدبروا بعناية التحديات المتصلة بكفاءة العينات، وبتصميم المكافآت، وباحتيا، وباحتيا، وباحتياجات، وباحتيا، وباحتياجات، وبأدوات، وباحتياجات، وبأدوات، التي تكيفات، مع استخدام أدوات القياسات،

For further reading, see the comprehensive survey on RL for control by Busoniu et al. (2018) and ] a practical guide to RL for PID tuning from the Control and Automation community.