יישום עץ החלטות רגישות לעלויות עבור יישומים עסקיים

הקדמה: למה עלויות ב Classification

עצי ההחלטות נשארים אחד המודלים המפרשים והנפוחים ביותר של למידת מכונה בעסקים.היכולת שלהם להתמודד עם שני הנתונים המספריים והקטגוריים ביותר, בשילוב עם ההיגיון מבוסס-שלטון אינטואיטיבי, הופכת אותם אטרקטיביים ליישומים החל מציון אשראי לחיזוי עץ הדעת הסטנדרטי. אלגוריתמי עץ ההחלטה הסטנדרטי, עם זאת, טיפול ללא הפסקות שגויות באופן שווה.

עצי החלטות רגישים בעלות גישה ישירה ל פער זה על ידי שילוב של ממטריקס עלות בתהליך הלמידה.במקום למזער את טעות הסיווג, הם ממזערים את העלות הכוללת של העיוותים.זה שינוי מטרות עסקיות לתוך לולאה של מודל הכשרה, המאפשר החלטות רווחיות ומבצעיות יותר. מאמר זה חוקר את העקרונות, יישום, יישום ויישומים של עולם האמיתי של עצי החלטות רגישים בעלות, עם הדרכה מעשית עבור נתונים ואנליסטים עסקיים.

הבנת עץ ההחלטות החסכוני

בליבתו, עץ החלטות בעל רגישות עלות משנה את אלגוריתם האימון כך שסוגים שונים של טעויות תורמים עונשים שונים.המודל בנוי לטובת פיצולים אשר מפחיתים את העיוותים הגבוהים בעלות גבוהה, גם אם זה אומר הגדלת שגיאות בעלות נמוכה.

מה זה מטריקס מחיר?

ממטריקס עלות מגדיר את העונש או העלות הקשורים לכל שילוב של מעמד בפועל וצפוי.עבור בעיה סיווג בינארי, לממטריקס יש ארבעה ערכים:

• (ב) ⁇ (ב)=0C(TP)=0FLT:1, עלות של חיזוי חיובי אמיתי (החיזוי נכון) היא אפס.
• (ב) ⁇ (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• (ב) [17] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
• (ב) ,0C(NIR)FLT:1 - עלות שלילית כוזבת (למשל, היעדר עסקה הונאה).

בתרחישים רבים בעולם האמיתי, C(FN) גדול הרבה יותר מ C(FP) לדוגמה, בהקרנה לסרטן, שלא לזהות ממאירות (FN) יכול להיות מסכני חיים, בעוד אזעקה שקרית (FP) עלולה לגרום רק לחרדה קלה ובדיקות נוספות.המגרת העלות מכשמתמתמת את אותם בורסות מסחר, כך שהמודל יכול למזער באופן מפורש את העלות הצפויה.

כיצד משקל גשר עולה לעץ

רוב יישום עץ ההחלטות, כולל פרמטר של scikit-learn:0, לקבל פרמטר (FLT:1 פרמטר) פרמטר זה מאפשר לכל מקרה אימון להיות מוקצה משקל המשפיע על חישוב טוהר הצומת.כדי להפוך את העץ רגיש, אנו להקצות משקל גבוה יותר למקרים כי שייך לשיעורים כי השגיאה שלו הוא יקר, או ישירות כל מקרה על ידי עלות של מדרגה אחת - 1F לדוגמה: 1F) לדוגמה, לדוגמה, אם שיעור 1F (ה 1F) הוא גבוה יותר של רמה אחת של רמה אחת של 1F).

שלא כמו טכניקות פשוטות בעלות משקל מעמדי שרק מאיזון גודלי מעמד, המדגם משקל לרגישות עלות משמר את מבנה העלות העסקי המדויק.העץ מעדיף פיצולים שסווגו כראוי שגיאות יקרות, גם אם זה אומר לאות זולות יותר.

סטנדרט לעומת מחירי ההחלטות הסנסציוניים

עץ החלטה סטנדרטי השווה את המסווג האופטימלי של Bayes על ידי צמצום שיעור השגיאה. בנוכחות עלויות סימטריות, זה suboptimal.לדוגמה, לשקול בדיקת נתונים הונאה שבו רק 1% של עסקאות הם הונאה. עץ רגיל יכול להשיג דיוק 99% על ידי רק חיזוי "חיובי" עבור כל העסקאות - אפס חיובי, אבל 100% שלילי זה לא מקובל עבור הונאה, עץ מקבל רגישות גבוהה יותר, אם זה עולה FDIQ DIQ במקום זאת, במקום זאת, לעומת זאת, ירידה גבוהה יותר, לעומת זאת, אם זה עולה ירידה של דגם גבוה יותר.

מדוע דרישות עסקיות דורשות רגישות

כל החלטה עסקית כוללת השלכות סימטריות.האיסימטריה של עלויות ההתעלמות מובילה למודלים מדויקים מבחינה טכנית אך מזיקים מבחינה כלכלית.למטה הם תחומים משותפים שבהם עצי החלטות רגישים לעלויות מספקים יתרון ברור.

גילויים ופשעים פיננסיים

עלויות בזיהוי הונאה הן סימטריות ביותר.אירוע הונאה גדול בלתי מצופה יכול לעלות מיליונים, תוך חקירת עלויות חיוביות כוזבות רק הזמן של אנליסט הונאה.עצים רגישים לעלויות נמוכות מאוד, גם אם זה אומר בדיקת עסקאות לגיטימיות רבות.FLT:0 (המחקר של פיקו על גילוי הונאות רגישות עלות נמוכה מאוד, אפילו אם זה אומר בדיקת עלויות כפולות במקום חיסכון כפול.

לקוח צ'ור חיזוי

לא כל הלקוחות שווים.הפסדים של המנוי לטווח ארוך עולה הרבה יותר מאשר לאבד משתמש נמוך-מעודד. עצי החלטות רגישים על עלויות יכולים להטיל עונש גבוה יותר על כשלון לחזות צ'ואן עבור גבוה-CLV (ערך חיי אדם) פלחיקת.על ידי חישוב דוגמאות הכשרה ביחס לערך הלקוחות, המודל לומדת כדי לאשר מראש פעולות שימור עבור חשבונות רווחיים ביותר.

המונחים: credit Risk and Loan underwriting

בהלוואות, שלילי כוזב (הקבלת הלוואה רעה) עולה לעתים קרובות את כל המנהל בתוספת אובדן ריבית, בעוד חיובי כוזב (הזרקת מועמד טוב) עולה רק הזדמנות רווח אבודה.עצים רגישים במחיר מאפשרים למלווים לכוונון מפורש את גבול ההחלטה ביחס של עלויות אלה.FLT:0Academic בספרות על ניקוד אשראי רגיש על עלות עלות עלות עלות עלות עלות גבוהה 1LT מראה שאפילו עצים פשוטים בעלי ערך רגישה לסף רגישה לסף.

אבחון רפואי ופעילות בריאות

מודלים אבחון המפספסים מצב (FN) יכולים להוביל לעיכוב בטיפול ותוצאות גרועות יותר, בעוד אבחון יתר (FP) עלול לגרום להליכים וחרדה לא נחוצים.עצים רגישים בעלויות לעזור לבתי חולים להקצות משאבים על ידי צמצום העלות הכוללת של שגיאות, לעתים קרובות מוגדר במונחים של איכות חיים מתואמת איכות או הוצאות רפואיות ישירות.

המונחים:

ניתן להבין את עצי ההחלטות הרגישים בעלות על שלוש אסטרטגיות רחבות: רמת נתונים, רמת אלגוריתם, והתאמות סף לאחר-הוק. לכל אחד יש עצירות בין פשטות ואופטימליות.

שיטות בעלות נתונים: דגימות משקל ו reampling

השיטה הפשוטה ביותר היא להקצות משקל מדגם ביחס למחיר הנאות.ב-מחקר scikit-learn, אתה פשוט מעביר את מערך FLT:2 (המערך של שיטת FLT:3) עץ לאחר מכן משתמש משקולות אלה במדדים של מדד הזיהומים (Gini או entropy) כך פיצולים המתאימים לדגמי עלייה גבוהה מועדפים.

שיטות אלגוריתאם-לב: Modified Splitting Criteria

חלק מהמחקר מקנה את הקריטריון המתפצל עצמו למזער ישירות את העלות הצפויה ולא את הכדאיות.לדוגמה, ה"עלייה-מורכבת" יכולה להקצות עלויות שונות ל Leaveים.עם זאת, שינויים ברמת האלגוריתם דורשים יישום מותאם אישית והם פחות נתמך בספריות סטנדרטיות.עבור רוב היישומים העסקיים, משקל ברמת נתונים הוא מספיק וקל יותר להסביר לבעלי העניין.

פוסט-הוק ת'רססhold Tuning

לאחר אימון עץ החלטה סטנדרטי (או כל מתווך פרוביביליסטי), אתה יכול להתאים את סף ההחלטה כדי לשקף עלויות.בהתחשב בהסתברות, הסף האופטימלי הוא FLT:0*p* = C(FP) + C(FP) + C(FN))) ; כאשר התשואה מהירה יותר, כאשר עדיפות הכיתה שווה.

מדריך שלב-בי-Steptlementation Guide

השלבים הבאים מתארים כיצד ליישם עץ החלטות רגיש בעלות באמצעות Python ו- scikit-learn. זרימת העבודה משלבת עלויות עסקיות ישירות לתוך אימון מודל.

1.1 הגנה על מטריקס עלויות העסק

עבודה עם מומחי דומיין כדי להעריך את העלות הכספית של כל סוג שגיאה.עבור הונאה, C(FN) עשוי להיות סכום העסקה הממוצע בתוספת עלויות חקירה; C(FP) עשוי להיות שכר השעה של אנליסט הונאה זמן סקירה. עבור churn, C(FN) יכול להיות הערך הנוכחי נטו של הכנסות שאבדו מקטע לקוח מסוים.

2.המיר מטריקס לדגמי משקולות

(ב) גישה חזקה היא להקצות כל אימון, משקל שווה למחיר של חיקוי זהה לבעיית בינארית, להגדיר משקל עבור שיעור FLT:0iph 1:1 כמו סכום עלויות עבור הקטנת שיעור זה, אך מכיוון שהעץ משתמש במשקל של ממוצע (Cliified) יותר מאשר במקרים של C5 (F) כלומר, לדוגמה, קל יותר להקצות משקל חיובי (p) עבור כל המקרים של LT5 (F) עבור כל המקרים של כל סוג של 4.

אם הנתונים הסטטיסטיים גדולים ועלויות משתנות לדוגמה (למשל, צ'ואן שבו לכל לקוח יש ⁇ V שונה), ניתן להקצות משקל לכל אחד מהם.

3.לרכב עץ ההחלטות עם משקולות דוגמיות

from sklearn.tree import DecisionTreeClassifier

cost_FN = 500
cost_FP = 10
sample_weights = y * cost_FN + (1 - y) * cost_FP

clf = DecisionTreeClassifier(max_depth=5, random_state=42)
clf.fit(X_train, y_train, sample_weight=sample_weights)

הערה: הקוד לעיל מניח (FLT:5) הוא מערך מספר של 1s (חיובים) ו 0s (שלילים) מתאים ל ⁇ בפועל.העץ מצמצם כעת את חוסר הכדאיות על ידי עלויות אלה.

4.היזהר באמצעות עלויות-אזהרה

לא להסתמך רק על דיוק.להפוך את העלות הכוללת על מבחן שנערך: סך הכל cost = סכום (שגיאות מרשם *עלויות בהתאמה) בהשוואה לדגם בסיס (למשל, עץ ללא משקל) ויזואליזציה של עלות על פני סף שונים.

5. Tune Hyperparameters for Cost

עומק עץ, דגימות מינימום עלות, ופרמטרים יזום צריך להיות אופטימיזציה באמצעות פונקציה אובייקטיבית המבוססת על על עלות. השתמש בסתירה חוצה-טווח שבו הציון הוא העלות הכוללת שלילית (או סך החיסכון הכולל).

הערכה של מודלים לעלויות רגישות

מדדים סטנדרטיים כמו AUC-ROC ו- F1-score אינם מספיקים לבעיות רגישות בעלות, משום שהם אינם תופסים את ההשפעה הכספית.

• מחיר השוויון הכולל:0 (המחיר של כל ה-FLT:1) סכום כל העלויות לטרור על פני מערכת הבדיקה.
• (FLT:0) חיסכון Ratio: FLT:1 (Cost of Baseline Model - Cost of Cost-רגיש מודל) / Cost of Baseline.
• (FLT:0) Cost-Sensitive Precision and Recall:FLT:1 משקל דיוק וזיכרון על ידי עלות matrix.לדוגמה, זיכרון במשקל עלות = (TP * 0) / (TP + FN*(FN) = שווה ערך 1 - עלות נורמלית של שלילית.
• (ב) [15] ,"התח"ל" (ב) ב"התורה" (ב) ב[[1924]], [[1924]], [[1924]], [[1924]], [[1924]]]]]], [[1924]]]]

כאשר מציגים לבעלי עניין עסקיים, תמיד לתרגם את ביצועי המודל לדולרים שנשמרו או הכנסות התאוששו.מודל המפחית את העלות הכוללת ב-30% על חשבון כמה אזעקות שקריות נוספות קל יותר להצדיק מאשר אחת שמשפרת את AUC ב- 0.02.

מחקרים אמיתיים

גילוי הונאה במעבדת תשלום

מעבד תשלום גדול יישמו עצי החלטות רגישים לאבחון הונאה בזמן אמת.מודל הסטנדרטי שלהם השיג דיוק 99.8% אך החמיץ 2% של הונאה (שיעור FN 2%) כל הונאה החמיץ בממוצע של 150 דולר, בעוד שכל מחיר חיובי כוזב 5 $ בסקירה ידנית. העץ הרגיש עלות עלות מופחתת FN ל-0.5% על ידי הגדלת שיעור ה-FP מ -2.5% ל-1.5%.

לקוחות חוזרים ל- Telco

חברת טלקום השתמשה בעצי החלטות רגישים לחיזוי צ'כיה בקרב לקוחות בתשלום.לכל לקוח היה ערך ידוע CLV (ערך חיי אדם) על ידי חישוב כל מקרה אימון על ידי CLV של הלקוח, המודל התמקד ב- דחפורים בעלי ערך גבוה.התוצאה הייתה ירידה של 40% בעלויות הצ'ונר בהשוואה למודל מאומן עם משקולות שוות, כי העץ הרגיש לפני שמירה על הערך הגבוה ביותר עבור הקמפיינים החשובים ביותר.

« « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « « «

בית חולים הגיש בקשה לעצי החלטות רגישים לחיזוי אילו מטופלים יזדקקו להודאה של ICU בתוך 24 שעות.העלות של מטופל חולה (FN) הוגדרה כעלויות הצפויות של טיפול מתמשך וסיכון רשלנות פוטנציאלי, בשווי של 250 אלף דולר.העלות של עודף (FP) הייתה העלות של מיטה ICU מיותרת, כ-2,000 דולר.

אתגרים ופתרונות

אתגר 1: העלאת עלויות

עלויות עסקיות הן לעתים קרובות לא ברורות וקונטקסטואליות.מטריקס עלות קבועה עשוי לא ללכוד את הכדאיות (למשל, כמה הפסדים הונאה הם קטנים, אחרים ענקיים) FLT:0lution: FigFLT:1 להשתמש בעלויות להפחתה אם זמין, או לבצע ניתוח רגישות על ידי בדיקות מסכות עלות מרובות.

אתגר 2: מידע מאוזן מגנה על ידי עלויות

כאשר C(FN) גבוה מאוד, המודל עשוי להפריז בשיעור החיובי, יצירת יותר מדי חיובי כוזב ונטל תפעולי.FLT:0Solution:FLT:1 Tune the Cost matrix באמצעות נתוני אימות. שקול להוסיף החלפה סף לאחר אימון כדי לאזן את עלות FP ו FN דינמי.

אתגר 3: שיפור בעצימות גבוהה

אם יש כמה מקרים של משקל גבוה מאוד (למשל, כמה מיליוני דולרים מקרי הונאה), העץ עשוי להתאים יתר לנקודות אלה.FLT:0 Solution: LT:1 או נרמל משקולות, להשתמש בסדיר באמצעות FLT:8 או FLT:9, ו שיטות הרכב כמו יערות אקראיים עם משקולות.

אתגר 4: מודל Interpretability Trade-Off

עצים רגישים מאוד יכולים להיות מורכבים.FLT:0;0; איור: 1FLT: השתמש במיצוי חוקים רגישים או עומק גבול.

מסקנה

עצי החלטות רגישים בעלות ערך אינם סקרנות תיאורטית, אלא כלי מעשי להתאמה של מודלים למידת מכונה עם מטרות עסקיות בעולם האמיתי.על ידי מעבר לדיוק ושילוב של מריצה עלות לאימון, ארגונים יכולים להפחית באופן דרמטי את ההפסדים הפיננסיים בגילוי הונאה, ניהול צ'ואן, סיכון אשראי, ומעבר לכך יישום הוא פשוט באמצעות ספריות סטנדרטיות כמו למידה דוקית, הדורשות רק חריפות של עלויות עסקיות ודגימה מתאימה כדי להבטיח את הביקוש למדענים בעלי השפעה כלכלית.

לקריאה נוספת, מומלץ להתייעץ עם תיעוד עץ הלמידה של עץ ה-FLT:1 והנייר הקלאסי של אלקאן (2001), "The Foundations of Cost-Sensitive Learning".