נהיגה וליישם את Gradient Descent עבור אופטימיזציה מודל סופר-מעודכן

הירידה הגדלה היא אלגוריתם אופטימיזציה בסיסי המשמש באימון מודלים למידה מכונה בפיקוח.זה עוזר למזער את הפונקציה השגיאה על ידי התאמת יעיל של פרמטרים מודל.הבנת כיצד להפיק וליישם שיטה זו חיונית לאימון יעיל במודל.

« « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « «

הרעיון המרכזי של ירידה ⁇ כרוך מחשוב של הפונקציה אובדן עם כבוד לפרמטרים מודל. ⁇ זה מצביע על הכיוון של עלייה תלולה ביותר. כדי למזער את אובדן, הפרמטרים מעודכנים בכיוון ההפוך של ⁇ .

מבחינה מתמטית, חוק עדכון הפרמטר מתבטא:

[[1924]]]]]] [[1924]]]]]]]]]]

(ב) ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]

שימוש ב-Gateing Gradient Descent

כדי ליישם את הירידה ב ⁇ , השלבים הבאים בדרך כלל ואחריו:

• מיפוי מודלים פרמטרים אקראיים או עם ערכים ספציפיים.
• חישוב תפקוד אובדן מבוסס על פרמטרים נוכחיים ונתוני הדרכה.
• סמן את ה ⁇ של ההפסד ביחס לכל פרמטר.
• עדכון הפרמטרים באמצעות חוק הירידה ⁇
• חזור על התהליך עד שההפסד מתאחד או מספר מוגדר של היתרים.

בחירת שיעור הלמידה

שיעור הלמידה (FLT:0) ⁇ FLT:1 קובע את הגודל של כל שלב עדכון.שיעור למידה קטן עשוי לגרום התכנסות איטית, בעוד גדול יכול לגרום overshooting המינימום.