עצי ההחלטות הם בין אלגוריתמי למידת מכונה המפרשים ביותר בשימוש נרחב, בשל יכולתם מודל נתונים קאוליטוריים לייצר נתיבי החלטות ברורים, המבוססים על הכלל, אך בבידוד, עץ החלטה יחיד סובל לעתים קרובות החלנות גבוהה או מהתאמה יתר, בעוד נאבקים ללכוד את מערכות היחסים המורכבות, הלא לינאריות הקיימות במאגרי מידע רבים בעולם האמיתי.

מאמר זה חוקר את הרציונליות מאחורי שילוב עצי החלטות עם אלגוריתמים אחרים, מפרט את האסטרטגיות היעילות ביותר - משיטות הרכב לאדריכלות היברידית - ומספק הדרכה מעשית ליישום מודלים מורכבים אלה בסביבות הייצור.אם אתה מדען נתונים בונה צינורות חיזוי או מלומד הוראה מושגים מתקדמים של ML, הבנה טכניקות שילוב אלה יעצימו אותך לעצב מערכות שמשכללות טוב יותר ומספקות תובנות.

למה לשלב עץ החלטות עם מודלים אחרים?

המוטיבציה העיקרית של שילוב עצי ההחלטות עם מודלים אחרים היא לנצל את החוזקות המשלימות של פרדיגמות למידה שונות.עצים החלטות הם טובים מאוד לחלוקת החלל המאפיין לאזורים הומוגניים, מה שהופך אותם מצוינים עבור משימות קבלת החלטות הדורשות פירוש.עם זאת, הם יכולים להיות בלתי יציבים: שינוי קטן בנתונים יכול לייצר מבנה עץ שונה לחלוטין.

אלגוריתמים אחרים, כגון מכונות וקטור תמיכה (SVMs), רשתות עצביות, או מודלים ליניאריים, מצטיינים בלכידת דפוסים מורכבים -SVMs למצוא היפרפלפליטיס אופטימליים בחללים ממדיים, רשתות עצביות לומדות ייצוגים היררכיים, מודלים ליניאריים מספקים פשטות ויעילות.על ידי שילוב אלה עם עצי החלטה, אנו יכולים:

  • (FLT:0) חינוך משתנה והתאמה: קידמ"ד:1 עצים בודדים מתאימים בקלות. שיטות קבוצתיות כמו יערות אקראיים בממוצע עצים רבים כדי להחליק את השחלות.
  • (FLT:0)Capture Diverse Patterns:FLT:1 לא אלגוריתם יחיד הוא הטוב ביותר אוניברסלי.עץ עשוי להצטיין תכונות קטגוריות, בעוד רשת עצבית מטפלת קלטות מספריות גבוהה.אינטגרציה מאפשרת לכל מודל תת-מודל להתמקד בחוזקות שלה.
  • (FLT:0) חייב להיות להסביר את החלטותיו של מודל, בעוד מודלים אחרים להתמודד עם החלקים שבהם הפרשנות פחות קריטית, יצירת "תיבת זכוכית" היברידית.
  • (FLT:0) שיפור כלליזציה: FLT:1irשלב מודלים מרובים מפחית את הסיכון של למידה התאמות מעוררות השראה.המגוון בין המודלים מוביל לתחזיות חזקות יותר על נתונים בלתי נראים.

כפי שציטט:0 scikit-learn's האנסמבל של למידה (SateveFLT:1) מציין: "שיטות סנסמבלות משלבות את התחזיות של כמה estimators בסיס בנוי עם אלגוריתם למידה מסוים כדי לשפר את הכדאיות / העוצמה על סמך estimator אחד."

אסטרטגיות נפוצות לאינטגרציה

שיטות להקות: The Classic Path

האנסמבלים הם הדרך הפשוטה ביותר והמאבקית לשלב עצי החלטות עם עצמם או עם סוגים אחרים של מודל.הרעיון הליבה הוא להכשיר מודלים מרובים (לומדי בסיס) ולצבור את התחזיות שלהם. בעוד שרכבים רבים נשארים בתוך משפחה אלגוריתם יחיד, צ'ק-טיפוס חוצה-סוג הם צוברים מצעים.

יערות אקראיים ומעבר

יערות אקראיים נשארים הילד פוסטר של ensembling מבוסס עץ.הם בונים מאות עצי החלטות על תת-קרקעיות נתונים מפוספסים, כל אחד באמצעות תת-קבוצה אקראית של תכונות, ותחזיות ממוצעות (לחזרה) או לקחת רוב הצבעה (לדוגמא) זה מפחית באופן דרמטי את הכדאיות יתר על פני השטח ולעתים קרובות מניב ביצועים ארציים על נתונים לשוניים.

מכונות Boosting (GBMs)

GBMs כמו XGBoost, LightGBM, ו CatBoost לבנות עצים באופן שווה, שבו כל עץ חדש מתקן את שגיאות ההרכב הקודם. בעוד אלה הם גם רק צ'קים עץ, יישומים מודרניים מאפשרים הכללה של "לומדים לינאריים" כמו Fallback או בסיס הלומדים. לדוגמה, CatBoost יכול להכשיר מודל ליניארי על גבי האינטראקציות צומצמות עצים.

כלליזציה (Stacking)

⁇ לוקח ensembling לשלב הבא על ידי אימון מודל meta-מודל על התחזיות של כמה מודלים בסיס (אשר יכול לכלול עצי החלטות, SVMs, רשתות עצביות וכו ') לדוגמה, אתה יכול לאמן יער אקראי, רשת עצבית עמוקה, ו regression לוגיסטית על אותה סט נתונים, ולאחר מכן להאכיל את הפלט שלהם לתוך עץ סופי (המדן) אשר לומדת מודל זה כדי לנצל את ה- 1F לדוגמה.

מודלים היברידיים: אדריכלות אחת, שני מוחות

מודלים היברידיים משלבים עצי החלטות כמרכיב בתוך אדריכלות גדולה יותר, ולא כחבר עצמאי של הרכב.עיצובים אלה שימושיים במיוחד כאשר אתה צריך הן הפרשות והן דיוק גבוה.

עץ-Guided Feature Engineering

גישה היברידית פשוטה משתמשת עצי החלטות עבור בחירה תכונה או הנדסה.רכבת עץ החלטה רדודה לזהות את התכונות החשובות ביותר (מבוסס על נחיתות Gini או רווח מידע), ולאחר מכן מחק את המשתנים פחות רלוונטיים.תכונות שנבחרו אז להאכיל לתוך רשת עצבית או SVM. זה מפחית ממדיות ורעש, שיפור הביצועים של מודל מטה הזרם.

רשתות עץ-Aided Neural

רשתות נילי לעיתים קרובות נאבקים עם נתונים לשוניים הנשלטים על ידי תכונות ספאריות, קטגוריות.עצים החלטות יכולים לפעול כמעבד טרום-מעבד: להכשיר יער אקראי, לחלץ את האינדיקטורים על-ידי כל עץ, להאכיל את הווקטורים הבין-ממדיים הללו לרשת ירידה קטנה המחוברת לחלוטין.זה "ערערץ" או "מפורסט", מוצג על ידי ג'ואו ולהשיג ביצועים תחרותיים עם רשתות עצביות פחותות (NIVEDIVE) עם פרופילים שונים, תוך שימוש ב" (NIVEDIVEDIVEDIVE DIRECTDIVEDIVE) עם גישה "מפרקטיקות" (NIVE DIRECTIVE DIRECTDIVE DIRECTIVE DIRECTIVE DIRECTIVE DIRECTIVE DRASTERDIVE DIRECTDIVE DREDIVE DIRECTIVE DRED) עם גישה "DIVE DIRECTDIVE DIRECTSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTERSTER DRESTERSTERSTER DRASTERSTER

מודלי קוהר עץ-Boosted Linear

היברידית יעילה נוספת היא לשלב עצי החלטות עם מודלים ליניאריים.לדוגמה, ניתן להתאים לתוקפנות ליניארית על המאפיינים המקוריים, ולאחר מכן להשתמש עץ החלטה כדי לעצב את השוכנים.החיזוי הסופי הוא סכום החיזוי הליני בתוספת החיזוי של העץ.זה עוזר ללכוד לא-לינאריות החמצו על ידי הרכיב ליניארי. סטאטיסטים השתמשו בטכניקה זו במשך עשרות שנים תחת שמות כמו "ריון עם מודלים ליניאריים".

היתרונות של אינטגרציה

כאשר נעשה זאת בחשיבה, שילוב עצי החלטות עם מודלים אחרים של למידת מכונה מספק יתרונות קונקרטיים על פני ממדים מרובים.

  • (FLT:0)Imroved Accuracy ו- F1 Scores: FLT:1 על ידי לכידת שני דפוסים ליניאריים ולא לינאריים, מודלים משולבים לעתים קרובות החוצה גישות טהורות עץ או טהורות. אינספור תחרויות קגללג זכו על ידי האנסמבלים המכילים עצים, רשתות עצביות, מודלים ליניאריים מחסנים יחד.
  • (FLT:0) Enhanced Robustness to Noise and Outliers: Trees are strong to not Features and Missing Values, בעוד רשתות עצביות יכולות להיות רגישות.עם זאת, המגוון של ההרכב מקטין את נקודות התורפה של כל רכיב.לדוגמה, אפקט של יער אקראי לחות ההשפעה של חומרים שעלולים להיות חשוף עץ; הוספת משטחים קבועים על פני השטח.
  • (FLT:0) בעל יכולת ביניים בנקודות החלטות קריטיות:FLT 1 באנסמבל ערימה, meta-learner יכול להיות עץ החלטות, מתן נוף עולמי של איך מודלים בסיס אינטראקציה.בצנרת היברידית בעלת תכונה היברידית, פיצול העץ הראשוני מציע הסברים ברורים של אילו תכונות.
  • (FLT:0) אימון וריאציות נמוכות יותר: ההרחבה עץ רדודה יכולה להתאמן בתוך דקות, בעוד רשת עצבית עמוקה עשויה לקחת שעות.על ידי שילוב של שני (למשל, שימוש בעצים לבחירה תכונה), אתה יכול להפחית באופן דרמטי את זמן האימון של הרשת תוך כדי תועלת מיכולתה לדגם אינטראקציות מורכבות.

אתגרים מעשיים וכיצד להתגבר עליהם

אינטגרציה אינה ללא תקלות, להיות מודע לאתגרים משותפים יעזור לך להימנע מטעויות יקרות.

עקבו אחרי Meta-Learner

בערימה, מודל meta-מודל יכול בקלות להתאים את התחזיות של מודל הבסיס אם ה-Dataset קטן. השתמש בהגדרה חוצה-גבולות כדי ליצור תחזיות כפולות עבור meta-learner, ולשמור על ה- meta-מודל פשוט (למשל, נסיגה לוגיסטית או עץ החלטה רדודה).

עלויות פיצוי מוגברות

אימון מודלים מרובים ו meta-learner דורש יותר זיכרון וזמן. Prune המודל שלך להגדיר רק את המועמדים המגוונים והגבוהים ביותר. השתמש מסגרות אופטימיזציה היפר-פרפרפרפרמטר כמו Optuna או Hyperopt כדי לאזן מורכבות.

אובדן של חוסר יכולת

כאשר אתה מוסיף רכיבים שחורים יותר, המערכת הכללית הופכת קשה יותר להסביר. לשמור על שביל ביקורת ברור: מסמך אשר רכיב אחראי על איזה חלק מהחיזוי, לשקול שימוש ב- SHAP או LIME כדי להסביר את התפוקה של המודל המשולב.

הבדלים ב-Data Preprocessing

מודלים שונים דורשים קשקשים שונים (עצים אינם זקוקים לנורמליזציה; רשתות עצביות לעשות) הצינור ההיברידי חייב להיות סניפי עיבוד נפרדים. השתמש ב-Sikit-learning:0 כדי ליישם שינויים נפרדים לקבוצות תכונות שונות לפני שהם מגיעים למודלים בהתאמה.

שיטות טובות לאינטגרציה מוצלחת

  1. (ב) ⁇ :0) קלף: מתחיל עם עץ אחד ומודל ליניארי, ראה אם ההיברידי משתפר לבדו לפני הוספת מורכבות נוספת.
  2. (FLT:0) הבטחת גיוון: מודלים 1FLT 1 צריך לעשות שגיאות שאינן קשורות לשחיתות. השתמש במצעי אימונים שונים, תת-קרקעיות תכונה שונות, או אלגוריתמים שונים באופן בסיסי.
  3. (FLT:0)Validate with Cross-Validation:cioFLT 1 תמיד להעריך מודלים משולבים באמצעות stratified C-fold cross-validation כדי למנוע הערכות אופטימיות.
  4. (FLT:0)Tune Hyperparameters במשותף: ההרחבה 1 (ראה: ההרחבה: 1) השתמש בלולאות של cross-validation הכוללות את כל הצינור (מעבדת מודלים בסיס) מטבוליזם חיפוש גריד או אופטימיזציה של Bayesian עובד טוב.
  5. (FLT:0) מוניטור לקונספט ד"רift:cioFLT:1 בייצור, לאימון מחדש את האינטגרציה מעת לעת.
  6. (ב) ,0) ביצוע העיצוב: FLT:103 עבור התחדשות, תיעוד אשר נעשה שימוש באסטרטגיה לאינטגרציה, מדוע וכיצד כל רכיב היה מכוון.

יישומים אמיתיים ו Case Studies

גילוי הונאה בבנקאות

נתוני הונאה בתשלום הם מאוד חסרי איזון ומכילים הן את שני סוגי העסקאות (מספריים) ואת התכונות הקטגוריות (קודים מכניים, סוגי קלפים) פתרון משותף משלב עץ מודבק (הפחתת אינטראקציות לא ליניאריות בין תכונות) עם רגרסציה לוגיסטית (דוגמת סיכון בסיס), האנסמבל הוא אז לתוך רשת עצבית קטנה לומדת כדי לשחזר דוגמאות המבוססות על פני תקופה של 15% / מודל יחיד תחת פיקוח).

תמיכה באבחון רפואי

לעתים קרובות חולים זקוקים למודלים שיכולים להסביר מדוע המטופל מוקרן כסיכון גבוה.פריסה אחת משתמשת עץ החלטה עבור המעבר הראשון (התחילה באמצעות כללים ברורים כמו גיל ו- BMI), ולאחר מכן עובר מקרים גבוליים לרשת עצבית המוכשרת בתוצאות מעבדה ותכונות הדמיה.העץ מספק הפרשות מיידיות למקרים ברורים, בעוד הרשת מטפלת בעמימות האבחון הדורשת זיהוי עמוק יותר.

המלצות מנועים

מערכות המלצה של מסחר אלקטרוני משלבות לעתים קרובות מסנן שיתופי (מטמיזציה) עם סינון מבוסס תוכן.עץ החלטה יכול לשמש כ"סביר" מדוע מוצר מומלץ - מראה כי העבר של המשתמש קונה באותה קטגוריה מופעלת ההמלצה.כללי העץ דחוסים עבור הצדקה של משתמשים בזמן אמת.

כיוונים עתידיים

שילוב עצי ההחלטות עם מודלים אחרים הוא אזור מחקר פעיל. מגמות מתפתחות כוללות:

  • (FLT:0) עץי החלטות בלתי אפשריים: FIRLT:1 מודלים כמו NODE ו- "עץי החלטה חטוף" מאפשרים אימון מבוסס מקצה לקצה, מה שהופך את זה קל יותר להטמיע עצים בתוך רשתות עצביות.
  • (FLT:0) Automated Machine Learning (AutoML): כלי 1:1 כמו Auto-Gluon ו- H2O AutoML עכשיו לחפש באופן אוטומטי על ארכיטקטורות היברידיות, ערימה של עצים, רשתות עצביות, מודלים ליניאריים עם משקל אופטימלי.
  • (FLT:0) מכונות בולטות (EBMs): 1FLT:1 אלה הם מודלים תוספת המשלבים את הפרשיות של עצי ההחלטות עם הביצועים הגבוהים של ⁇ שיפור, לעתים קרובות להוציא צ'קים עץ פשוטים על נתונים לשוניים.
  • (FLT:0) למידה עם עצים:FIRLT:1) מסגרות שמירת הפרטיות המשלבות עצי החלטות עם רשתות עצביות מקומיות על פני מקורות נתונים מבוזרים, המאפשרות שילוב ללא ריכוז מידע רגיש.

מסקנה

הגדלת עצי ההחלטות עם מודלים אחרים של למידת מכונה אינה רק פעילות תיאורטית - זוהי אסטרטגיה מעשית כי באופן עקבי מניב דיוק גבוה יותר, עוצמה ופרשיות מאשר להסתמך על כל אלגוריתם יחיד.על ידי מינוף שיטות כמו ערימה ולהגדיל, או על ידי תכנון ארכיטקטורות היברידית שבו עצים מטפלים בבחירה דפוסים פשוטים יותר בעוד רשתות עצביות להתמודד עם מורכבות, מתרגלים נתונים יכולים לבנות מערכות אמינות וקלות יותר לפרוס בסביבות גבוהות.

המפתח הוא לטפל באינטגרציה כבעיה עיצובית: להבין את החוזקות והחולשות של כל רכיב מודל, לאמת בקפדנות, ותמיד לשמור על הצורך של המשתמש הסופי לשקיפות בראש. כמו שדה של AutoML ועצים שונים מתבגרים, שילובים אלה יהפכו אפילו יותר חלקה - אבל עקרונות הליבה של שילוב אלגוריתמים משלימים יישארו אבן הפינה של הנדסת למידה יעילה.