יישום סדירות: תיאוריה, קלקולות, ועיסוקים טובים ביותר ב Machine Learning

החלפה היא טכניקה המשמשת בלמידה של מכונה כדי למנוע התאמה על ידי הוספת עונש לתפקוד האובדן.זה עוזר מודלים להכללת טוב יותר נתונים בלתי נראים על ידי פיזור פתרונות מורכבים מדי.

תיאור של regation

התרגילות מציגה תנאים נוספים לתפקוד האובייקטיבי במהלך האימון.מושגים אלה מענישים פרמטרים גדולים של מודלים, מעודדים מודלים פשוטים יותר כי הם פחות סביר להתאים רעש בנתונים האימונים.

טכניקות הפעלה

• (ב) [15] ,0 ⁇ : ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• (ב) ,0)2 גלגול: 1FLT מוסיף את הערך הריבועי של מזהמים, מעודד משקלים קטנים יותר.
• (ב) ,0) ,Dropout: 1FLT 1 טיפות באופן אקראי יחידות במהלך אימון כדי להפחית את ההסתמכות על נוירונים ספציפיים.
• (ב) ,0) ,הפסקות מוקדם: 1.(FLT:1) מפסיקות הכשרה כאשר הביצועים על נתוני אימות מתחילים לרדת.

סליחות ומימוש

בתוקפנות ליניארית, לדוגמה, L2 סדירזציה משנה את תפקוד העלות כדלקמן:

אובדן = Sum of Squared שגיאות + λ * Sum of Squared משקולות

כאשר λ (lambda) הוא פרמטר הסדיר השולט בכוח העונש.בחירת λ מתאים הוא חיוני ולעתים קרובות נעשה באמצעות validation.

הפרקטיקה הטובה ביותר

כאשר מיישמים את הסדיר, שקול את הפעולות הטובות ביותר הבאות:

• השתמש ב- cross-validation כדי לכוון פרמטרים של סדירזציה.
• התחל עם מודלים פשוטים ולהגדיל בהדרגה את המורכבות.
• שילוב טכניקות קבועות מרובות במידת הצורך.
• מעקב אחר ביצועי אימות כדי להימנע מהתאמה או מהתאמה.