יישום למידה עמוקה של כוח למידה עבור בקרת הסתגלות במערכות מכניות

הבנה עמוקה של למידה

Deep Reinforcement Learning (DRL) משלב את מסגרת קבלת ההחלטות של למידה חיזוק עם הכוח הייצוגי של רשתות עצביות עמוקות.בלמידה חיזוק, סוכן אינטראקציה עם סביבה על ידי ביצוע פעולות וקבלת תגמולים או עונשים.המטרה של הסוכן היא ללמוד מדיניות - מיפוי ממדינות לפעולות - הממקסם פרס מצטבר לאורך זמן.כאשר המרחב הוא גדול או מתמשך, כמו נפוץ במערכות מכניות, מאפשר תפקוד עצבי דומה ל-DRL.

בליבתו, DRL מוצפת בתהליך ההחלטה של מארקוב (MDP) הפורמליזם. An MDP מוגדר על ידי קבוצה של מדינות, פעולות, התחייבויות מעבר, ותפקוד של גמול.המטרה של הסוכן היא למצוא מדיניות אופטימלית הממקסימה את הסכום הצפוי של תגמולים מוזלים. Variants כגון MDPs ללא ספק (MDPs) הם לעתים קרובות הכרחיים עבור מערכות מכניות (Deep-Dicicial Act) כמו פעולות מכניות.

מפתח DRL Algorithms for Mechanical control

כמה אלגוריתמי DRL הוכיחו את עצמם יעילים בשליטה על מערכות מכניות.בחירה של אלגוריתם תלויה במרחב הפעולה (התעלם מרצף), המורכבות של הדינמיקה, ואת יעילות הדגימה הנדרשת.

Q-Networks (DQN)

DQN היא שיטה מבוססת ערך אשר לומדת פונקציה ערכית Q(s,a) היא משתמשת ניסיון replay ורשת מטרה לייצוב אימון. DQN עובד טוב עבור חללי פעולה דיסקרטיים, כגון בחירת סט קבוע של שליטה על ques. עם זאת, מערכות מכניות רבות דורשות פעולות רציף, אשר הובילו לפיתוח של שיטות ביקורתיות שחקן.

מדיניות די-טווחית (DDPG)

DDPG מרחיבה את DQN למרחבי פעולה רצופים על ידי במקביל ללמוד מדיניות חקונית (actor) ו- Q-function (ביקורתית) היא מעסיקה למידה פוליטית עם buffer Replay והוא מתאים במיוחד למשימות מניפולציה רובוטית שבו נדרשים פקודות מומנט מדויקות. DDPG יכול להיאבק עם יעילות דגימות ורגישות היפרפרמטר, אבל זה נשאר אלגוריתם בסיסי בתחום.

אופטימיזציה למדיניות Proximal (PPO)

PPO היא שיטה מדיניות- ⁇ כי עדכונים מדיניותיים כדי להבטיח הכשרה יציבה.זה על פוליטיקה, כלומר זה משתמש דגימות טריות עבור כל עדכון, אשר יכול להפחית יעילות הדגימה אבל משפר את יציבות. PPO צבר פופולריות רובוטיקה ובקרת רכב אוטונומי כי זה קל יחסית להתכוונן ולעבוד היטב הן הגדרות מתמשך ודיסקרטי.

Soft Actor-Critic (SAC)

SAC היא שיטה מחוץ לתחום של שחקן-ביקורתי שממקסימה את הסחר בין החזרה הצפויה לבין אנטרופיה. על ידי עידוד חקר באמצעות מיקסום, SAC לעתים קרובות משיג יעילות מדגם גבוהה יותר ואימון יציב יותר בהשוואה DDPG.זה הפך אלגוריתם עבור משימות בקרה מכניות רבות, כולל הקטנת ומניפולציה dexous.

יישום DRL ל-Mechans Systems: דוגמאות אמיתיות בעולם

DRL הוחל בהצלחה על פני מגוון של מערכות מכניות, מרובוטים תעשייתיים ועד כלי רכב אוטונומיים. דוגמאות אלה ממחישות כיצד בקרה הסתגלותית יכולה לזרז גישות מסורתיות המבוססות על מודלים בסביבות דינמיות ולא ברורות.

זרוע רובוטית

באוטומציה של המחסנים, זרועות רובוטיות חייבות לבחור אובייקטים של צורות שונות, משקולות ונטיות. שיטות בקרה מסורתיות דורשות מודלים מפורשים של כל אובייקט, אשר הוא לא מעשי בקנה מידה. DRL מאפשר הזרוע ללמוד מדיניות מאוחדת באמצעות משפט וטעויות חברות כמו FLT:0 OpenAIFLT:1 הוכיחו כי DRL יכול לאפשר יד רובוטית לתפעל קובייה עם קובייה סופר-אנושית, כמו גם גישה סטנדרטית נמוכה יותר.

בקרת רכב אוטונומית

בקרה על רכב אוטונומי כרוכה בפעולות רציפות (הסתה, תלול, מתפתל) בסביבה רבת מימדית, חלקית אלגוריתמים של DRL כמו SAC ו- PPO שימשו לנהיגה מקצה לקצה, שבו תמונות מצלמה גולמית ממפות ישירות כדי לשלוט בפקודות של DRL: 0WaymoFLT:1 וחברות אחרות השתמשו גם DRL עבור משימות ספציפיות כגון פיקוח כללי, כמו גם על ידי ניהול כללי, או ניהול בעיות תחזוקה, או טיפול בלתי צפויות, עם בעיות.

תהליכי ייצור אופטימיזציה

בייצור, DRL משמש לייעל תהליכים כמו ריתוך, טיפול בחומר, וייצור תוספים.לדוגמה, סוכן DRL יכול ללמוד להתאים את מהירות ועוצמה בזמן אמת בהתבסס על משוב חיישן, צמצום פגמים וצריכת אנרגיה.היכולת להתאים לריאציות בנכסים חומריים או כלי עושה DRL כלי יקר ערך עבור FLT:0 חכמים ייצור LTFalphir 1 מחקרים הראו שיפור ב תזמון בשימוש על ידי תאים רובוטיים.

אתגרים קריטיים

למרות הבטחתו, יישום DRL במערכות מכניות עומד בפני כמה מכשולים משמעותיים שיש לטפל בהם על פריסה מוצלחת בעולם האמיתי.

המונחים: Efficiency

אלגוריתמים רבים של DRL דורשים מיליוני אינטראקציות עם הסביבה ללמוד מדיניות יעילה.במערכת מכנית פיזית, מספר זה של ניסויים הוא לא מעשי - איסוף נתונים על זרוע רובוט או רכב הוא איטי, יקר, ומסוכנת פוטנציאלי. - אימון סימום הוא המיטוציה העיקרית, אבל פער "im-to-לינארי" נשאר אתגר.

בטיחות במהלך חקר

חקירה לא מודעת יכולה לגרום נזק מכני או נזק לבני אדם.לדוגמה, זרוע רובוטית לומדת משימה של בחירה ומיקום עשויה להתנגש עם מכשולים או עצמה אם המדיניות אינה מרוסנת.גישות RL בטוח משלבות מגבלות לבעיה אופטימיזציה, באמצעות טכניקות כגון מ"מ מוגבל" או בקרים מגן כי על פעולות מסוכנות. אסטרטגיה נוספת היא לזרז את המדיניות כולה בסימולציה ורק לאחר אימות, עדיין דורש מעקב קפדני.

עיצוב תגמול

עיצוב פונקציה של תגמול שלוכדת במדויק את ההתנהגות הרצויה הוא קשה לשמצה. תגמולים ספורדי (למשל, +1 להצלחה משימה, 0 אחרת) יכול להיות לא מספיק ללמידה, בעוד תגמולים צפופים עלול להוביל להתנהגות בלתי מנוסחת. לדוגמה, פרס המבוסס על minimizing משותף torques עשוי לגרום למערכת להימנע מלהזוז לחלוטין.

העברה אמיתית

גם עם הסימולציות הטובות ביותר, דיסוטנטיות בדינמיקה, חיכוך, עצלות ורעש החיישן יכולים להפיג את ביצועי המדיניות של החומרה האמיתית. Domain אקראיזציה, זיהוי מערכת, וכוונון עדין עם כמות קטנה של נתונים אמיתיים הם תיקונים משותפים.עם זאת, שיטות אלה דורשות מאמץ הנדסי נוסף ולא יכולות לגשר על הפער.

אסטרטגיות ל Deployment מוצלחת

כדי להתגבר על האתגרים האלה, גישה רב-התכנת מועסקת לעתים קרובות, שילוב סימולציה, מגבלות בטיחות וארכיטקטורות בקרה היברידיות.

אימון סימבול עם Domain Randomization

אימון בסימולטור מאפשר איסוף נתונים נרחב ללא ללבוש או סיכון.התאמת משתנה פרמטרים פיזיים כגון מסה, חיכוך, ועיכובים אקטוטור לאורך פרקים.זה כוחות הסוכן ללמוד התנהגויות חזקות כי הכללת המערכת האמיתית. לדוגמה, מדיניות DRL מאומנת עם היערכות אקראית על זרוע רובוטית מדומה מדומה יכול להעביר בהצלחה הזרוע הפיזית עם מעט או ללא כוונון עדין, כפי שהוכחו במיזמים כמו פתרון DRL: פתרון רובוטי פתוח:

מחקר בטוח מכניזם

במהלך פריסה בעולם האמיתי, החיפוש מוגבל על ידי מגבלות בטיחות.אסטרטגיות נפוצות כוללות שימוש במדיניות גיבוי (למשל, בקר קלאסי) שלוקח על עצמו כאשר פעולותיו של סוכן DRL עולות על גבולות בטוחים, או אימון מבקר "בטוח" המנבא את ההסתברות לחצות גבול בטיחות.גישה נוספת היא להכשיר את הסוכן ללא כל פעילות בנתונים מקודמים (off RL) ולהפיץ מדיניות ללא חקירה נוספת.

אדריכלות: Hybrid Control Architectures

במקום להסתמך רק על מדיניות DRL, מערכות ייצור רבות משלבות את DRL עם שיטות בקרה מסורתיות.לדוגמה, סוכן DRL עשוי ללמוד החלטות ברמה גבוהה (למשל, אשר תת-המשימה לבצע את הבא או מה המטרה להגעה), בעוד בקר PID ברמה נמוכה מטפל בהוראות הפעולה המדויקות של מערכת היררכית מנצל את נקודות הגישות של DRL ו- DRL, להתאמה אישית של בקרה קלאסית, היא בעלת יכולת בקרה על בסיס קבוע של בקרה קלאסית.

כיוונים עתידיים ומגמות מתפתחות

תחום DRL לשליטה מכנית מתפתח במהירות.כמה מגמות סבירות לעצב את אימוץ העתיד שלה בתעשייה ובמחקר.

מבוסס מודל: Reinforcement Learning

מודל מבוסס מודל RL לומד מודל של דינמיקת הסביבה ומשתמש בו לתכנון או לשיפור מדיניות. גישה זו היא חד משמעית יותר מדגימה-אפקטיבית יותר מאשר שיטות ללא מודל כי הסוכן יכול "לדמיין" תוצאות מבלי אינטראקציה עם המערכת האמיתית.עבודה חדשה ב- מודל מבוסס RL השיגה ביצועים המדינה-של האמנות על קריטריונים בקרה רצופים.

Reinforcement Learning

Offline RL, או אצווה RL, שואפת ללמוד מדיניות לחלוטין מהצגת נתונים קבועה של חוויות העבר, ללא אינטראקציה נוספת.זה רצוי מאוד עבור מערכות מכניות שבו חיפוש מקוון הוא יקר או מסוכן. אלגוריתמים Offline RL חייב להתמודד עם השינוי ההתפלגות בין תחילת הנתונים לבין מדיניות נלמדת.התקדמות ב Q-learning שמרנית Q-learning ושיפור יציבות, ו-RL לא מקוון הוא החל משיטות בקרה מתקדמות יותר.

בטוח וקונסולי RL

בטיחות היא ככל הנראה המחסום הקריטי ביותר לאימוץ DRL במערכות מכניות.מחקר ב-RL מופץ מייצר אלגוריתמים אשר לאכוף במפורש מגבלות בטיחות במהלך אימון וביצוע.שיטות כגון הרפיה Lagraian, מסננים של בטיחות, ומפקחי בטיחות המבוססים על מודלים מצטמצמים. בעתיד, אנו עשויים לראות ערבויות בטיחות מאושרות למדיניות של למד, בדומה לגישה המשמשת אימות רשמי עבור בקרים קלאסיים.

ההרחבה Hardware Acceleration and Edge Deployment

הפעלת רשת עצבית עמוקה בהקצאות על בקרים משובצים היא כעת אפשרית הודות לחומרה מיוחדת כגון NVIDIA Jetson, Google Coral, ויחידות עיבוד עצביות.זה מאפשר למדיניות DRL לפעול בתדרים שליטה גבוהה (למשל, 1 kK) ללא להסתמך על מחשוב ענן.כפי חומרה הופכת זולה ויעילה יותר, DRL תשלב ישירות לתוך פועל וחיישנים, המאפשרים באמת הסתגלות אוטונומית בתחום הבקרה.

מסקנה

Deep Reinforcement Learning מציע מסגרת משכנעת לשליטה הסתגלות במערכות מכניות, המאפשרת לרובוטים, כלי רכב וציוד ייצור ללמוד התנהגויות אופטימליות באמצעות אינטראקציה.היכולת להתמודד עם קלטי חיישן דחיסה גבוהה ודינמיקה מורכבת הופכת את DRL מתאימה במיוחד למשימות שבהן בקרת מודל מסורתית היא בלתי אפשרית או יקר מדי כדי לשמור על אתגרים כגון יעילות דגימות, בטיחות, ועברה מעשית, עדיין שילוב יעיל של מנגנונים מאובטחים, אימון יעיל יותר, וחדשני, עם ביצועים חזקים יותר, ואפקטיביים מתקדמים יותר, עם ביצועים מתקדמים יותר, סימולציה בטוחה יותר, ועוד.