החלת Backpropagation: שלב אחר צעד קלקלות לאימון רשת עמוק

חזרה היא אלגוריתם בסיסי המשמש להכשיר רשתות עצביות עמוקות.זה כרוך חישוב ⁇ של תפקוד אובדן ביחס לכל משקל ברשת, ומאפשר עדכונים משקל הממזער שגיאות. מאמר זה מספק סקירה של שלב אחר שלב של תהליך הגיבוי, תוך התמקדות חישובים המעורבים באימון רשת עמוקה.

מעבר קדימה

התהליך מתחיל עם מעבר קדימה, שבו נתונים קלט מופצים דרך הרשת.כל נוירון מצמיד סכום משקל של קלטותיו, מוסיף הטיה, ומתחול על תפקוד הפעלה.התפוקה של כל שכבה משמשת כקלט לשכבה הבאה עד שהחיזוי הסופי מתקבל.

חישוב ההפסד

ברגע שהרשת מייצרת פלט, הפונקציה אובדן מודד את ההבדל בין התפוקה הצפויה לבין התווית האמיתית פונקציות אובדן משותף כוללות טעות מרובעת וצלב-אנטופי.המטרה היא למזער את הירידה הזו באמצעות התאמות משקל.

Backward Pass: Gradient Computation

הליבה של ה backpropagation כוללת מחשוב את ה ⁇ של אובדן עם כבוד לכל משקל. החל שכבת הפלט, מונח השגיאה מחושב ו propagated לאחור דרך הרשת.זה כרוך יישום כלל השרשרת לניידות compute בכל שכבה.

עבור כל נוירון, מונח השגיאה נקבע על ידי הכפלת נגזרת של הפונקציה ההפעלה עם סכום השגיאות המעודן של השכבה הבאה. תנאי השגיאה הללו משמשים אז כדי לחדד ⁇ s עבור כל משקל ודעה קדומה.

עלייה במשקל

באמצעות ⁇ s, משקולות מעודכנים בדרך כלל באמצעות ירידה ⁇ .חוק העדכון subtracts חלק של ⁇ מן המשקל הנוכחי, נשלט על ידי שיעור הלמידה.תהליך זה מקטין את אובדן על ידי היחלשות מוצלחת.

המונחים: key Steps

• בצעו מעבר קדימה לתחזיות מותאמות.
• נציח את ההפסד בין תחזיות לבין תוויות אמיתיות.
• תנאי שגיאה החל שכבת הפלט לאחור.
• חישוב ⁇ עבור כל משקל וטיה.
• עדכון משקל באמצעות ירידה ⁇ .