הצורך הגדול ב-Efficient Solvers

שליטה אופטית שוכנת בלב הנדסה מודרנית, מימון ומערכות אוטונומיות.ממייצבים מזל"טים ברוחות גועלות לקידוד רשתות חשמל תחת הביקוש המתפשט, הבעיות הבסיסיות לעתים קרובות כרוכות במערכות המתוארות על ידי עשרות או אפילו מאות משתנים המדינה.כפי שהמדמים האלה מגבירים את המשתנים, פותרים מספרייים קונבנציונליים מתפרקים תחת עלויות חישוביות אקספוננציאליות – מציאות ידועה בשם "הקורעית של התפתחותית" של זמן לא רציונלית; היא יותר קריטית עבור בעיות התפתחותיות בזמן אמתיות, אינה יעילה יותר, היא יותר, אך ורק עבור מצבים קריטיות, היא יותר, אך ורק עבור מצבים קריטיים, היא פתרון זמן, אך ורק עבור מצבים קריטיים יותר, לא מציאותיים, היא יותר, אך ורק עבור מצבים קריטיים, אך ורק עבור מצבים קריטיים, היא התפתחותיים, ללא ספקיתים, ללא ספק, היא יותר, היא יותר, ללא ספק, ללא ספק, אשר אינם קריטיים, אלא התפתחותיים, יותר, היא התפתחותיים, היא יותר, היא יותר, יותר, כמו גם בעיות חשיבה אקדמית, כמו כן, ללא בעיות חשיבה אקדמית, היא יותר, כמו כן, היא יותר, היא יותר קריטיים, כמו כן, כמו כן, פתרון בעיות מתקדמות יותר, כמו כן

בעיות בקרה אופטימליות ברמה גבוהה מופיעות ביישומים החל מניפולציה רובוטית וטרקלין אווירי מתכננים לאופטימיזציה של תיקי וניתוח מדיניות האקלים.כל תרחיש דורש מדיניות הממזערת את העלות פונקציונלית תוך שמירה על מגבלות דינמיות. הפתרון בדרך כלל כרוך בפתרון המילטון-ג'קובמן (HJB) חלקית שונה חלקית או משוואה בלמן בהגדרות דיסקרטיות, אשר בדרך כלל הופך למורכבים במידות חישוביות גבוהות של שיטות חישוביות.

הבנה של בקרת אופטימאלית גבוהה

[ה] [ה]]] [ה]]], [ה]], [ה]], [ה], [ה]]], [ה]], [ה]]]][ה']], [ה']'[ה']'[ה']'[ה']'[ה']']''[ה']']'[ה'[ה']']']'[ה'[ה']']'[ה'[ה']'[ה'[ה'[ה'[ה']'[ה']']']'[ה'[ה'[ה'[ה']']']'[ה'[ה']'[ה'[ה']'[ה']']']']']'[ה'[ה']']']'[ה']']'[ה']']'[ה']']']'[ה'[ה'[ה'[ה']'[ה']']'[ה'[ה'[ה'[ה'[ה

לכן, שליטה אופטימלית ברמה גבוהה מאופיינת על ידי הצורך להשוואה של הפונקציה הערך או המדיניות האופטימלית ללא ייצוג מפורש על רשת מלאה.זה הוביל למגוון מסגרות של היערכות, כולל ההתרחבות פולינומית, פונקציות בסיס קורנל, רשתות עצביות, וייצוגים ספאריים.הבחירה של הגישה תלויה במבנה הבעיה - בין אם הדינמיקה היא ליניארית או לא ליניארית, בין אם הן קיימות, ובין אם הן מגבלות חישוביות אמיתיות.

הקרסול של המימדליות

הקללה של המימדליות, מונח שהוצג על ידי ריצ'רד בלמן בשנות החמישים, מתייחס לעלייה האקספוננציאלית בנפח הקשור להוספת ממדים נוספים לחלל מתמטי. בהקשר של שליטה אופטימלית, זה אומר שמספר הדגימות הדרושות כדי לכסות את המרחב הממלכתי גדל באופן אקספוננציאלי עם ממדים.אפילו עם מחשבים חזקים, אחסון רשת צפופה לבעיה של 10 ממדים הוא בלתי אפשרי - חישוב רשת עם 100 נקודות לממד, 10 נקודות עד 10 נקודות עד 10 נקודות זיכרון רחוק יותר, 10 נקודות.

קללה זו אינה רק אי נוחות מעשית; היא מגבילה את הכדאיות של תכנות דינמי קלאסי.כדי להתגבר על זה, החוקרים המציאו טכניקות שמנצלות מבנה (למשל, תשואות נמוכות, הסתברות, שקיפות, ספנות) או סחר בדיוקן עבור יכולת מדרגיות (למשל, מונטה קרלו דגימה, שליטה חיזויית).

אתגרים מרכזיים בפיתוח נומררי

יצירת פותר מספרי מהיר לשליטה אופטימלית ברמה גבוהה כרוך ניווט מספר קשיים בין-הנעה. אתגרים אלה מתרחבים מעבר לקללה של ממדיות כדי לכלול יציבות מספרית, הסתגלות, וביקוש לביצועים בזמן אמת ביישומים קריטיים בטיחותיים.

מורכבות

המכשול העיקרי הוא העומס חישובי של ה-HJB, גם אם ניתן לייצג את הפונקציה הערך באופן קומפקטי, הערכת מפעיל בלמן או פתרון משוואה HJB דורש שילוב על אזורי המדינה והשליטה, אשר יכול להיות יקר.לדוגמה, אלגוריתמים רבים מסתמכים על גורפים קדימה או ירידה ⁇ דרך הזמן, כל אחד הדורש הערכות מרובות של הדינמיקה והעלויות.

יתר על כן, צעד האופטימיזציה בתוך תכנות דינמי לעתים קרובות כרוך בפתרון בעיה minimization על שטח הבקרה בכל מדינה.בהגדרות בקרה מתמשך, זה עשוי לדרוש אלגוריתמי אופטימיזציה אינפורמטיביים, הוספת שכבה נוספת של עלות חישובית.אסטרטגיות כגון תכנות דינמי משוער (ADP) וניסוי הפחתת ערך זה על ידי הערכת הערך עם מודל פרמטרי משוער ושימוש בהערכה מדיניות.

יציבות נומרנית וכלכלה

פותרים בעלי ממדים גבוהים נוטים לאי יציבות מספרית, במיוחד כאשר משתמשים בשיטות הרהרטיביות כמו היסוס או מדיניות ההסרה. שגיאות ההמראה שהוצגו על ידי מנהלי הפונקציה approximators יכול לצבור להוביל לתנודות או סטיות או סטיות. Ensuring monotonicity, עקביות ויציבות דורשות לעתים קרובות עיצוב זהיר של תוכנית האופטימיזציה והתהליך ה-reative, למשל, כגון אופטימיזציה מקומית, שימוש בטכניקות מורכבות, כגון אופטימיזציה, כאשר הן יכולות לייצבות, כגון שיטות אימון, כגון יעילות, שימוש בטכניקות מורכבות, כגון אופטימיזציה, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, כלומר, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, כגון אופטימיזציה, כלומר, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, אופטימיזציה, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, אופטימיזציה, כלומר, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, כגון אופטימיזציה, אופטימיזציה, שימוש בטכניקות מורכבות, אופטימיזציה, אופטימיזציה, ויציבות, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, כאשר הן יכולות לתהליכים לאימון, כאשר הן יכולות לאימון, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, שימוש בטכניקות מורכבות, שימוש בטכניקות

דרישות סודיות משתנות גם על ידי יישום.בתמחור אפשרויות פיננסיות, שגיאות של כמה אחוזים עשויים להיות מקובלים; נהיגה אוטונומית, מדיניות בקרה לא מדויקת יכולה להוביל לכישלון קטסטרופלי ולכן, מפתחי פתרון חייבים לאזן יעילות חישובית עם מגבלות שגיאה.

סקבילה ליישומים בזמן אמת

בעיות בקרה אופטימליות רבות על פני השטח נובעות בהקשרים שבהם יש לבצע החלטות במילימטרים.לדוגמה, quadrotor navigating a cluttered סביבה חייב לנסח מחדש את מסלולו כמכשולים חדשים מופיעים.פת פותרים מסורתיים לא יכולים לעמוד במגבלות הזמן הללו.לכן, פיתוח פותרים מהירים כרוך לעתים קרובות חישוב לא מקוון (למשל, הכשרת מדיניות עצבית) וביצועים מקוונים (למשל, הערכה מקדימה של מדיניות למידה).

יכולת דרוג בזמן אמת דורשת גם קוד יעיל, לעתים קרובות מינוף האצה GPU, וקטוריזציה וניהול זיכרון זהיר. בחירת האלגוריתם חייבת לשקול מגבלות חומרה: שיטות רשת ספאריות ועשרות או דה-קופוזיציה ניתן מקבילים, בעוד אלגוריתמים אפשריים עשויים להפוך I / O כבול.

אסטרטגיות לפיתוח מהיר Solvers

במהלך שני העשורים האחרונים, תיבת כלים עשירה של טכניקות התפתחה כדי להתמודד עם שליטה אופטימלית ברמה גבוהה. שיטות אלה ניתן לסווג באופן רחב להפחתה ממדית, ייצוגים ספאריים, למידת מכונה ומחשוב מקביל.כל אחד מציע דרך אחרת לעקוף את הקללה של ממדיות.

טכניקות הפחתה של מימדי

אם המערכת מציגה מבנה נמוך ממדים, המימדיום היעיל עשוי להיות הרבה יותר נמוך מאשר המימד של המדינה הנשנית.הפחתת הממדים מזהה ומנצלת את המבנה הזה.

המונחים: Orthogonal Decomposition

נכון אוטוקוניד (POD), הידוע גם כניתוח רכיב עיקרי במדעי הנתונים, מפיץ מצבים דומיננטיים מהנתונים סימולציה.בשליטה אופטימלית, POD ניתן להשתמש כדי לתכנן את המרחב הממשלתי ברמה גבוהה על משטח תת-ממדי נמוך שבו הדינמיקה נמצאת בערך נלכדה.זה מקטין את מספר דרגות החופש בנספח הפונקציה.

Tensor Decompositions

[ה]התערות [ה] [ה] [ה]] [ה]] [ה]]], [ה]], [ה]], [ה]]הההההההערך ב[ה]]], יכול להיות מיוצג כ"מעגלות" (=ה') ו'ה'ה'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''

שיטות ספאריות

רשתות ספיידר, שהוצגו על ידי סרגיי סמלק, מציעים דרך לשבור את הקללה של המימדליות עבור פונקציות חלקות. במקום רשת מלאה של מוצרים, רשתות ספאריות להשתמש מבחר זהיר של נקודות בהתבסס על פונקציות בסיס היררכי. עבור פונקציות עם נגזרות קשורות, מספר הנקודות גדל רק פולינומי עם ממד, לא אקספוננציאלי היה מוחל על פתרון של HB ל משוואות מתקדמות עם 10 נקודות דיוק.

אתגר אחד הוא כי רשתות ספאריות לעבוד הכי טוב עבור פונקציות ערך חלק. בשליטה אופטימלית, הפונקציה הערך לעתים קרובות יש kinks או הפסקות (למשל, בשל מגבלות או בקרה על מפץ) התקדמות לאחרונה בהתערבות רשת ספאר עם הזיכוך המקומי יכול להתמודד עם תכונות לא-סמות כאלה, למרות הערבויות התיאורטיות נחלשות.

Machine Learning and Neural Networks

ההתקדמות המהירה בלמידה עמוקה פתחה דרכים חדשות לשליטה אופטימלית.רשתות נילי יכולות לייחס את תפקוד הערך או את מדיניות הבקרה ישירות מהנתונים, תוך עקיפת הצורך בייצוגים המבוססים על רשת.הגישה הבולטת ביותר היא השימוש ברשתות עצביות עמוקות לפתרון משוואות HJB באמצעות למידה לא מבוקרת - השיטה הנקראת "מעמיקה גלרקין" או "רשתות עצביות" (NIN משוואות חלליות, הן משוואות רשת של HJcoln-B, אשר מאפשרות למזעריות גבוהות יותר, ללא רמות ה-Jcoln-B.

משפחה נוספת של אלגוריתמים מגיעה מלמידה של חיזוק, שבו מבקרים (פונקציות ערך) ושחקנים (מדיניות) מיוצגים על ידי רשתות עצביות.שיטות כמו מדיניות דיטרנטית Gradient (DDPG) ושחקן רך-Critic (SAC) יכולים להתמודד עם חללים של מדינה ופעולה רצופים עם מאות ממדים.עם זאת, שיטות אלה עשויות לדרוש כמויות גדולות של נתונים ועלויות היפר-פיבוד קפדניות של מערכת עצבית של משוואות של משוואות כוח: HBSIP הן יכולות להיות פעילות אופטימלית עבור משוואות כוח: 1.

חשוב לציין, פותרים מבוססי רשת עצבית אינם כדור כסף.אימון יכול להיות איטי ועשויים לתכנס למדיניות תת-אופטימית.עבור בעיות עם מגבלות קשות, הבטחת יכולת לעתים קרובות דורשת טכניקות נוספות כגון פונקציות מחסום או שלבים הקרנה.

המונחים: different and Distributed Computing

גם עם ירידה ממדית, עומס העבודה החישובי הנותרים יכול להיות משמעותי. מחשוב במקביל מציע נתיב כוח רוטט לזרז. פעולות רבות בשליטה אופטימלית - כגון הערכת העלות במדינות מרובות, ביצוע רולטים, או מחשוב ⁇ s - הם במקביל מביך.

לדוגמה, גישור ערך עם רשתות ספאריות יכול להיות מקביל על ידי הקצאת נקודות רשת שונות מעבדים שונים. בדומה, בשיטות מבוססות רשת עצבית, אימון מיני-באטץ' באופן טבעי ממינוף מקבילות GPU. טכניקות מתקדמות יותר כמו אלגוריתמים מקבילים שחקן-תסומטיים מקבילה הראו מהירות משמעותית עבור משימות בקרה על-ממדיות.המפתח הוא לאלגוריתמים עיצוב ששומרים על תכונות התכנסות תחת מקבילה, כמו מקבילות מקבילות מקבילות מקבילות, כמו מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות יכול להציג מקבילות מקבילות מקבילות או מנעולים מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות יכולות להציג מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות מקבילות

טכניקות מתקדמות וטכנולוגיות מתפתחות

הגבול של פיתוח פתרון מוגדר על ידי cross-pollination בין ניתוח מספרי, למידת מכונה, ותאוריה שליטה. כמה התקדמות לאחרונה לעמוד על הפוטנציאל שלהם להתמודד אפילו עם ממדים גבוהים יותר עם יעילות רבה יותר.

שילוב של למידה עמוקה עם שיטות נומריות

במקום להתייחס ללמידה עמוקה כאל גישה של עמידה, החוקרים משלבים אותה בשיטות נומריות מסורתיות.לדוגמה, שיטת "Deep BSDE" משתמשת בנוסחת משוואה שונה לחלוטין לאחור כדי לפתור PHD parabolic PDEs ממדית, כולל HJB משוואות. שיטה זו מממנת רשתות עצביות כדי לייצג את ההשקעה של הפונקציה ורכבות אותם באמצעות מוֹנְטַּהוֹקְטַטְטְטַפְּטַפְּטְטְטְטַפְּטַפְּטַפְּסְסְטַפְּטְטְטְטְטְטְטַפְּטְטְטְטְטְטְטְטְטְטְטְטַפְּטַפְּטַפְּטַפְּטְטַפְּטַפְּטַפְּטַפְּטַפְּטַפְּטַפְּטַפְּסְסְסְסְטַפְּטַפְּסְסְטַפְּטַפְּטַפְּטַפְּטַפְּ

גישה היברידית נוספת היא "הההת של פיקארד ברמה גבוהה", אשר משתמשת בהרכבה מונטה קרלו של הייצוג האינטגראלי של המשוואה HJB. שיטה זו יש ערבויות התכנסות תיאורטית אפילו במימדים גבוהים מאוד, אם כי יעילותו המעשית תלויה במבנה הבעיה הספציפי.שלב שיטות כאלה עם האצה רשת עצבית הוא כיוון מחקר פעיל.

גישה מבוססת מודל היברידית ו-Data-Driven

שיטות מבוססות מודל טהור (למשל, תכנות דינמי קלאסי) דורשות מודל מדויק של דינמיקת מערכת, אשר עשוי לא להיות זמין. טהור מבוסס נתונים שיטות (למשל, למידה ללא מודלים) יכול להיות דוגמית-אי יעיל. גישות היברידיות שואפת לקבל את הטוב ביותר של שני העולמות. לדוגמה, אלגוריתמים למידה מבוססת מודלים ללמוד מודל מהנתונים ולאחר מכן להשתמש בו עבור תכנון או אופטימיזציה יכול להיות מופחתת של מודל, באמצעות מודלים אמיתיים, באמצעות מודלים של תהליך, או אלגוריתמים, לדוגמה, באמצעות מודלים אמיתיים, באמצעות מודלים של אלגוריתמים, באמצעות מודלים אמיתיים.

כיוון מבטיח אחר הוא השימוש בסימולטורים שונים.על ידי מתן זרימה ⁇ דרך הדינמיקה, סימולטורים אלה מאפשרים אופטימיזציה ישירה של מדיניות בקרה באמצעות שיטות סדר ראשון.זה היה מוצלח במיוחד רובוטיקה, שבו מנועי פיזיקה שונים מספקים אופטימיזציה מהירה עבור אופטימיזציה טרמפטורי.עם זאת, חוסר המומנטום בהתנגשות ועדיין נשאר אתגר.

אתגרים עתידיים ואתגרים פתוחים

למרות התקדמות משמעותית, אתגרים פתוחים רבים נשארים.אולי הדבר הדוחק ביותר הוא הצורך בערבויות תיאורטיות קפדניות עבור פותרים מבוססי מכונה למידה. בעוד שתחזיות רשת עצביות פועלות היטב אמפיריות, לעתים קרובות לא ברור אם הן מתאחדות לתפקיד הערך האופטימלי או לספק מגבלות.

גבול נוסף הוא התפתחותם של פותרים שיכולים להתמודד עם בעיות שליטה אופטימליות ברמה גבוהה עם דינמיקות רועשות או תצפיות חלקית. בעיות אלה מתעוררות רובוטיות עם נתונים לא בטוחים חיישן, במימון עם מודלים תנודתיים סטוצ'סטיים, ובשליטה אקלים עם תחזית מזג אוויר לא בטוחה.הכללה של אי הוודאות עוד יותר מחריפה את קללת הממדים של המציאות, אך שיטות המבוססות על אופטימיזציה חזקה ובקרת סיכונים רגישים מתחילים להופיע.

בזמן אמת, על-ידי הקצינה נשאר מכשול.גם אם ניתן לנסח מדיניות לא מקוון, פריסה על חומרה מוטבעת עם זיכרון מוגבל חישוב לעתים קרובות דורש דחיסה (למשל, לכמת רשתות עצביות או ריצה). סולורס חייב להיות מתוכנן במשותף עם מגבלות חומרה בראש.

לבסוף, יש את האתגר של ציון.שדה חסר בעיות מבחן ברמה גבוהה המאפשרות השוואה הוגנת בין משפחות מסויימות שונות.Efforts כמו FLT:0DimOptControl Index SuiteFLT:1 ניסיון למלא פער זה, אבל אימוץ רחב יותר הוא צורך להאיץ התקדמות.

מסקנה

פיתוח פתרונות מספריים מהירים לבעיות שליטה אופטימליות ברמה גבוהה הוא תחום תוסס וחיוני של מחקר.קללת הממד דורשת עזיבת יצירתית משיטות מבוססות רשת קלאסית, כולל צמצום מימדיות, רשתות ספאריות, למידה, ומחשוב מקבילה.התקדמות עדכנית, במיוחד שילוב של למידה עמוקה עם טכניקות ספורטיביות מסורתיות, לדחוף את הגבול של מה הוא כל כך בר-קיימא לעשרות או אפילו מאות ממדים חדשים, אך לא-מחדשים, טיפול פסיכולוגי, ללא ספק, ללא ספק, ישארכי-כך, אלא גם עם בעיות למידה עמוקה יותר, עם שיטות למידה, אך ורק עם אנליטיקאי-טבעיות, ללא ספק, עם שיטות למידה, עם שיטות למידה, אך ורק על-מתקני אבטחה, עם שיטות למידה מתקדמות, עם טכניקות אנליטיות, אך ורק עם טכניקות אנליטיות מתקדמות, עם אנליטיות, אך ורק עם טכניקות אנליטיקאי-ידי אנליטיקאי-מחדשות מתקדמות, עם שיטות למידה, עם שיטות למידה, ללא ספק, עם שיטות למידה, עם שיטות למידה מתקדמות, עם שיטות אנליטיקאיות מתקדמות, אך ורק על-כך, ללא ספק, עם שיטות אנליטיקאי-כך, ללא ספק, אך ורק אנליטיקאי-ידי אנליטיקאי-כך