חישוב ההשפעה של אי-מאזן נתונים על מודלים למידה על-ידי Supervised

חוסר איזון נתונים מתרחש כאשר ההפצה של שיעורים בנקודת נתונים היא לא אחידה.זה יכול להשפיע באופן משמעותי על הביצועים של מודלים למידה בפיקוח, המוביל לתחזיות מוטות ודיוק מופחת לשיעורי מיעוט.

הבנת איזון נתונים

בתרחישים רבים בעולם האמיתי, כמה שיעורים נפוצים יותר מאחרים.לדוגמה, בגילוי הונאה, עסקאות הונאה הם נדירים בהשוואה ללגיטימיות.חוסר איזון זה יכול לגרום מודלים לטובת המעמד הרוב, להתעלם מעמד המיעוט.

« « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « אזהרת ההשפעה

כדי להעריך כיצד חוסר איזון נתונים משפיע על מודל, ניתן להשתמש במספר מדדים:

• (ב) ⁇ :0) דיוק: 1 במאי עלול להיות מטעה בנתונים חסרי איזון, שכן ניתן להשיג דיוק גבוה על ידי תמיד לחזות את שיעור הרוב.
• (ב) ויקרא: "ה', ויקרא: "ה', ו'"ב', ויקרא י"ד: "ה', ו'"ה', ו'"ה', ו'"ה', ויקרא י"ד: "ו'"
• (ב) ויקרא י"א: "ה' י"א: "וַיָּעֹל אִם הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא הוּא
• (ב) ⁇ :0 ,ROC-AUC:FLT:103) מודד את יכולת המודל להבחין בין המעמדות על פני סף.

חישוב ההשפעה

גישה אחת לכמת את ההשפעה של חוסר איזון נתונים היא להשוות את ביצועי המודל על נתונים מאוזנים לעומת חומרים לא-מסוגים.טכניקות כוללות:

• החלת שיטות resampling כגון oversampling או undersampling.
• שימוש בדור נתונים סינתטי כמו SMOTE.
• הערכת מדדים לפני ואחרי טכניקות איזון.
• ניתוח שינויים בדיוק, זיכרון וציון F1.

על ידי מדידה של מדדים אלה, מתרגלים יכולים להעריך כמה חוסר איזון משפיע על תחזיות המודל ולהחליט אסטרטגיות מייגציה מתאימות.