אופטימיזציה של Algorithms ב Machine Learning: נפילה מתמשכת ומעבר

אלגוריתמי אופטימיזציה הם חיוניים בלמידה של מכונות עבור מודלים בפועל. הם עוזרים למזער את הפונקציה שגיאה או אובדן, שיפור הדיוק של התחזיות. מאמר זה חוקר אלגוריתמים משותפים, להתמקד ירידה ⁇ ואתריאציות שלה.

« נפילה

הירידה הגדלה היא אלגוריתם אופטימיזציה בשימוש נרחב כי היא מתאמת באופן יצירתי פרמטרים מודל למזער את תפקוד האובדן.זה מחשב את ⁇ של אובדן ביחס לפרמטרים ומעדכן אותם בהתאם.

משתנים של ירידה ⁇ כוללים אצווה, סטוצ'יסטיות, ומיני-באטך שיטות, כל אחד מהם שונה בכמה נתונים הם משתמשים כדי לחשב ⁇ s per iteration.

אופטימיזציה נוספת Algorithms

מעבר לירידה, כמה אלגוריתמים שואפים לשפר את מהירות ההתכנסות ולהימנע ממינימה מקומית.

• (ב) ,0) ,מ"ל: ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• (ב) ,0) ,AdagradigtureFLT:1: התאמת שיעורי למידה המבוססים על ⁇ היסטורי של פרמטרים.
• (ב) ,0) אדרבאמ"ד: משלב תנופה ושיעורי למידה מתאימים לאימון יעיל.
• (ב) ,0) RMSPropeurphcioFLT:1: חלוקת שיעורי למידה על ידי ממוצע נעים של ⁇ s האחרונות.

בחירת הימין

בחירת אלגוריתם אופטימיזציה תלויה בבעיה הספציפית, גודל הנתונים, ומשאבים חישוביים.ניסויים לעתים קרובות מסייע לזהות את השיטה היעילה ביותר למשימה נתונה.