יסודות מתמטיים של Gradient Descent: גישה מעשית למהנדסים

הירידה ב-Gateing היא אלגוריתם אופטימיזציה בסיסי המשמש יישומים הנדסיים שונים, כולל מערכות למידת מכונה ובקרה.הבנת היסודות המתמטיים שלה מסייעת למהנדסים ליישם ולכוון את האלגוריתם ביעילות לבעיות מעשיות.

מושג בסיסי של גרף

הירידה הגדלה שואפת למצוא את המינימום של פונקציה על ידי העברת במיומנות לכיוון הירידה התלולה ביותר.כלל העדכון מאמת את ההערכה הנוכחית בהתבסס על ⁇ של הפונקציה בשלב זה.

הביטוי המתמטי לעדכון הוא:

[[1924]]]]]] [[1924]]]]]]]]]] [[1924]]]]]]]]

(ב) ,9) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

יסודות מתמטיים

העיקרון המתמטי הליבה מאחורי ירידת ⁇ הוא הרחבה הראשונה של טיילור, אשר משוער את הפונקציה ליד נקודה. הווקטור ⁇ מציין את הכיוון של העלייה תלולה, כך לעבור מול זה להפחית את הערך הפונקציה.

לתפקוד שונה (FLT:0)J( ⁇ ) ⁇ FLT:1, ה ⁇ הוא וקטור של נגזרות חלקית:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

שיקולים מעשיים

בחירת שיעור למידה מתאים (FLT:0)αFLT:1 הוא חיוני.ערך קטן מבטיח התכנסות אבל עשוי להאט את התהליך, בעוד ערך גדול סיכונים על מנת לפתור את המינימום.

ניתן ליישם את הירידה הגדלה ב- אצווה, סטוצ'סטיות, או מיני-בטך, בהתאם לגודל של הנתונים ומשאבים חישוביים.

יישום בהנדסה

מהנדסים משתמשים בירידה ⁇ עבור פרמטר כוונון במערכות בקרה, עיבוד אותות ומודלים למידת מכונה.בסיס מתמטי שלה מאפשר אופטימיזציה שיטתית במערכות מורכבות.