הבנת מגבלות עץ ההחלטות בנתונים עתירי-ממדיים

הבנת מגבלות עץ ההחלטות בנתונים גבוהים

עצי ההחלטות הם בין אלגוריתמים למידת מכונה הנפוצים ביותר בשל המבנה האינטואיטיבי שלהם וקלות הפרשנות.הם מחלקים את המרחב המאפיין לאזורים המבוססים על כללי החלטות פשוטים, מה שהופך אותם מתאימים הן למשימות סיווג והן לתוקפנות. בתחומים כגון מימון, בריאות ושיווק, עצי החלטות משמשים כמודלים בסיס ולעתים קרובות מועדים לשקיפות שלהם.

מה זה נתונים גבוהים?

נתונים גבוהים-ממדיים מתייחסים למאגרי מידע המכילים מספר גדול של תכונות או משתנים, לעתים קרובות מעל מספר התצפיות.בהגדרות כאלה, מרחב התכונה הופך להיות מאוד דליל, מה שהופך אותו קשה לכל מודל להכללה היטב. לדוגמה, בדיקת נתונים גנומית עשויה למדוד רמות ביטוי עבור אלפי גנים רק כמה מאות דגימות.

האתגר המרכזי עם נתונים על-ידי ממדיים הוא ה-FLT:0 דיוק של ממדיות FLT:1 - מונח שטבע ריצ'רד בלמן בשנת 1961, כפי שמספר התכונות גדל, נפח המרחב המאפיין גדל באופן אקספוננציאלי, ונקודות נתונים הופכות יותר ויותר מבודדות אחת מהשנייה.

נתונים גבוהים גם מציגים אלגוריתמים, רעש, ותכונות לא רלוונטיות. תכונות רבות עשויות להיות מתואמים או לשאת מידע מועיל עבור משתנה היעד.זה יכול להטעות אלגוריתמי למידה, במיוחד עצי החלטות שבחרו בפיצול תאוות בצע בהתבסס על קריטריונים מקומיים.שילוב של ספרסיות, רעש, וממדים לא רלוונטיים יוצר בסיס פורה עבור overfittinging and Poor generalization.

גבולות של עצי ההחלטות בחללים גבוהים

Overfitting and the Bias-Variance Tradeoff

עצי ההחלטות נוטים באופן טבעי להתאים יתר על המידה, ונתונים תלת-ממדיים מחמירים את הבעיה באופן דרמטי.במד נמוך, עץ יכול לחלק כמה תכונות משמעותיות כדי ללכוד את המבנה הבסיסי.אבל כאשר מספר התכונות הוא גדול, לעץ יש הרבה יותר הזדמנויות למצוא פיצולים שנראים טוב על נתוני האימון על ידי סיכויים אלה פיצולים מעוררים לוכדים רעש ולא אות, המוביל מודל עם נטייה נמוכה אבל מעט מאוד.

הפקעת ההטיה הופכת לעטוף: הגמישות של העץ (היכולת להתאים לדפוסים מורכבים) הופכת לחבות.כפי שגובהו עולה, השחלות שולטות בשגיאה, מה שגורם למודל לבצע בצורה גרועה על נתונים לא נראים.אפילו עם עוקץ, האופי הרודני של עץ ההחלטות אינדוקציה פירושו שפיצול מוקדם – ללא ידע של פיצולים עתידיים – להוביל לעצים תת-אופטימיים לתנודות על פני ממדים אקראיים.

הקללה של המימדליות ב-Split Finding

עצי ההחלטות מסתמכים על מציאת נקודות חלוקה אינפורמטיביות לאורך תכונות אינדיבידואליות.בממדים גבוהים, הנתונים הופכים כל כך עד כי פיצולים רבים מכילים מעט מאוד תצפיות, מה שהופך את הפיצול המוערך לחסר אמון. למשל, לשקול בעיה של סיווג בינארי עם 100 תכונות ורק 200 דגימות.כל תכונה נתונה עשויה להיות רק קומץ של ערכים נפרדים, וחלוק עשוי להפריד תת-קבוצה זעירה של נקודות.

יתר על כן, משמעות הדבר היא שהעץ חייב להעריך פיצולים רבים בכל התכונות, וההסתברות למצוא פיצול גבוה על ידי עלייה בתאונה.זה מוביל לעצים שהם גם עמוקים וגם מתפתלים. מחקרים הראו כי ככל שממדליות גדלה, עצי ההחלטות נוטים לבחור פיצולים על תכונות לא רלוונטיות כמעט כמו לעתים קרובות על רלוונטיות, במיוחד כאשר שיעור התכונות הנמוכות הוא גבוה.

חוסר יכולת של נקודות מפוצלות ובחירת תכונות

עצי ההחלטות הם ממריצים לא יציבים: שינויים קטנים בנתונים האימון יכולים לייצר עצים שונים באופן דרסטי.בממדים גבוהים, חוסר יציבות זה הוא מוגבר כי העץ תלוי במידה רבה על אילו תכונות נבחרו עבור פיצולים מוקדמים. קבוצה של מוטציות אקראיות במערך האימונים יכול לגרום לפיצול השורש להשתנות לחלוטין, שינוי מבנה העץ כולו.

הטיה של בחירת תכונות היא עוד בעיה עדינה אך ביקורתית.כאשר עץ החלטה מחפש תכונות רבות עבור הפיצול הטוב ביותר, זה באופן שיטתי overestimates את החשיבות של תכונות כי באופן אקראי תואמים עם המטרה.זה צורה של FLT:0 נתונים מדרדרים את FLT:1 לדוגמה, בנקודת נתונים עם 1,000 תכונות רלוונטיות ו -10 תכונות רלוונטיות, העץ לעתים קרובות יבחר תכונה לא רלוונטית בשורש כי הסיכויים לפירוק מוקדם יותר או התפלגות עם תכונות חיצוניות.

מורכבות קולקטיבית ו Scalability

[ב] בניית עץ החלטה כוללת הערכה לכל הפיצול האפשרי על פני כל התכונות, עבור איסוף נתונים עם (FLT:0nreaph 1 דגימות ו-FLT:2pcioFLT 3, המורכבות של פיצול חד-ממדית היא O(FLT:4nFLT: 5 logFLT 7 ×FLT 7) LT LT LT LT , לעומת זאת, 000 , 000 , 000 , 000 , 000 , 000 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

שיטות אנסמבל כמו יערות אקראיים יכול לטפל חלקית השחלות אבל לבוא עם ראש חישובי משלהם.אימון מאות עצים על נתונים על גבוה ממדים יכול להיות איטי וזיכרון, במיוחד אם כל עץ מחפש על כל התכונות. יישומים רבים להשתמש תת-קבוצה אקראית של תכונות לפיצול, אשר מפחית חישוב אבל לא מבטל את האתגר הבסיסי של איכות מפוצלת בחללים מלוחים.

אובדן של חוסר יכולת

אחד הערעורים העיקריים של עצי ההחלטות הוא הפירוש שלהם: עץ רדום יכול להיות ויזואלי והוסבר לא- ⁇ s. עם זאת, בממדים גבוהים, עצים הופכים גדולים, עמוקים, ומורכבים. עץ עם 50 עלים ומאות פיצולים כבר לא שקוף.הנתיבים ההחלטות הופכים ארוכים ומשתפים תכונות רבות, מה שמקשה להבין מדוע חיזוי מסוים נעשה לעתים קרובות כגורם לעצי ברירה שחורה, אלא גם לעצים כמו נפילה מהירה יותר, אבל תאים.

יתר על כן, אמצעים חשובים שמקורם בעצים עתיריים עמוקים אינם אמינים לעתים קרובות.הם מוטים כלפי תכונות עם ערכים רבים ושונים שונים ויכולים להטעות את החשיבות לתכונות לא רלוונטיות עקב השפעות מסיכה.

אסטרטגיות להגבלות של Mitigate

למרות האתגרים הללו, עצי ההחלטות עדיין שימושיים בהקשרים רבים, וכמה טכניקות מבוססות יכולות לשפר את הביצועים שלהם על נתונים תלת-ממדיים גבוהים.המפתח הוא להפחית את המימדליות האפקטיבית, לשלוט בשחלות, ולמנף את האנסמבל או גישות היברידיות.

אפשרויות ל-Digitality Reduction

התרופה הישירה ביותר היא להפחית את מספר התכונות:0 (לפני FLT) 1 בניית העץ.

• (FLT:0) שיטות מפרש 1 (למשל, צ'י-סקול, מידע הדדי, סף השחלות) תכונות באופן עצמאי מהמודל.
• (הופנה מהדף VORATERTER שיטות FLT:1) (למשל, תכונת חיסול חוזרת, בחירה קדימה) להשתמש עץ ההחלטות עצמו כדי להעריך תת-קרקעיות תכונה.הם יכולים ללכוד אינטראקציות אך לסכן את הכדאיות והם יקרים מבחינה חישובית במימדים גבוהים.
• (הופנה מהדף ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

(הטכניקות להפחתה של מימדי) הופכות לתכונות לחלל נמוך יותר.FLT:0 (Principal Component Analysis) (PCA) ,FLT:1 פרויקטים נתונים על רכיבים אורטוקונים שלוכדים את השחלות המקסימליות, בעוד PCA הוא ליניארי, לעתים קרובות עובד היטב עבור נתונים קומפקטיים יותר על ידי הסרת רעש ו אדמומיות.

הפחתה של מימדיות לא רק מקטין את קללת המימדליות, אלא גם מאיצה את ההכשרה ומשפרת את הכללה.עם זאת, יש לנקוט זהירות לא כדי למחוק מידע חשוב למשימה החיזוי.

שגרה וריצה

אלגוריתמי עץ החלטות מציעים מספר רב של היפר-פרפרמטרים השולטים במורכבות.החשובים ביותר עבור נתונים תלת-ממדיים כוללים:

• עומק מקס: עומק מקס: ⁇ 1 (FLT:1) מגביל את מספר הפיצולים מהשורש לעלון. עומק מקס קטן (למשל, 3–5) מכריח את העץ להישאר רדום, צמצום השחלות.
• (ב) [13] דגימות של עלה: 1FLT) מבטיח כי עלות עלה יש מספר מינימלי של תצפיות.זה מונע פיצולים המשפיעים רק על חלק זעיר של הנתונים.
• (ב) ⁇ (ב"ג): "הדגימות של משה" (ב"ג) דורשות כמות מינימלית של דגימות בצומת לפני שניתן לחלקו.
• (FLT:0) תכונות מקס: FigFLT:1 מגביל את מספר התכונות שנחשבות לכל פיצול.כאשר מוגדר לשבריר של תכונות הכוללות (למשל, מ"ר(p) לסיווג, הוא מאלץ את העץ לשקול תת-קרקעיות שונות, מציג אקראיות וצמצום הכדאיות.
• (FLT:0) קומפלקסיות של קומפלקסינג (CCPura): 1 שיטה שלאחר-הוק המנציח את גודל העץ נגד טעות בתיקון שגוי.הפרמטר המק"ס אלפא שולט במסחר; אלפא גבוה יותר מניב עץ קטן יותר.

סדיר כבד הוא לעתים קרובות הכרחי במימדים גבוהים.זה עלול להקריב כמה הטיה כדי להפחית באופן דרמטי את השחלות.האתגר הוא למצוא את הרמה הנכונה של הסדיריזציה, אשר בדרך כלל דורש אימות צלבי-לימוד של Scikit-learn's FLT:0 ו-FLT:1 לספק גישה קלה לפרמטרים אלה FLT:0(ראה תיעוד של למידה על עצי החלטה) LT:1:1.

שיטות אנסמבל: יערות אקראיים וגרדנט בוטינג

שיטות אנסמבל משלבות מספר רב של לומדים חלשים (עצים של החלטות ⁇ ) כדי ליצור מודל חזק ויציב יותר.הם יעילים במיוחד עבור נתונים על-ממדיים גבוהים כי הם להפחית את השחלות ללא הטיה מוגברת משמעותית.

• (FLT:0Random ForestsFLT:1) בונה עצים רבים על דגימות מפוספסים של הנתונים ואת תת-קרקעי אקראי של תכונות.השילוב של תחזיות מפחית את השחלות ומסייע למנוע התאמה יתר. על ידי רק בהתחשב במצע אקראי של תכונות בכל פיצול, יערות אקראיים גם להפחית את הטיה של בחירה נדונה מוקדם יותר.
• (FLT:0)Gradient Boosted TreesFirLT:1 (למשל, XGBoost, LightGBM, CatBoost) לבנות עצים באופן משמעותי, כל תיקון שגיאות של אלה הקודמים. הם לעתים קרובות להשיג דיוק גבוה יותר מאשר יערות אקראיים אבל דורשים כוונון זהיר של שיעור למידה, מספר estimators, ופרמטרים רגילים כדי למנוע מעלימות רבות, כולל מינונים קבועים כגון L2.

יערות אקראיים ו- ⁇ מגבירים יכולים להתמודד עם אלפי תכונות, אבל עלות חישובית שלהם בקנה מידה עם מספר התכונות והעצים.טכניקות כמו עמודה דגימה ופירוק מבוסס שלו (שימוש באורג"ב) לעזור לשמור על יעילות.עבור נתונים עתירי מאוד גבוה (למשל, 100,000 תכונות), עדיין מומלץ להפחית את הממדים הראשונים באמצעות שיטת סינון מהירה או מחשב נייד לפני אימון מקיף ניתן למצוא: 0ciated שיטות:

מודלים אלטרנטיביים עבור נתונים גבוהים

במקרים מסוימים, ייתכן שיהיה עדיף לנטוש עצי החלטה לחלוטין ולהשתמש במודלים המתאימים באופן טבעי להגדרות תלת-ממדיות.מודלים קוויר עם סדירזציה, כגון FLT:0logistic regression עם L1 עונש (LASSO) לכידת FLT:1, יעילים עבור נתונים מלוחים ולספק תכונות אוטומטיות של LT:2Sport מכונות וקטור (VS) עם מספר לינארי גבוה יותר:

(FLT:0) רשתות ניברליות (Neuralרשתות ⁇ FLT:1) עם סדירזציה מתאימה (דרופט, ירידה במשקל) יכול ללמוד דפוסים מורכבים בנתונים תלת-ממדיים גבוהים, אך הם דורשים נתונים גדולים וכוונון נרחב.ביישומים רבים, יערות אקראיים או ⁇ מגבירים את האפשרות טובה של ביצועים וקלות השימוש.ה בסופו של דבר תלויה במאפיינים ספציפיים, את הצורך, את המשאבים חישוביים, חישוביים ואת המשאבים חישוביים.

הנחיות והמלצות

בהתחשב במגבלות של עצי ההחלטות בנתונים תלת-ממדיים, על מתרגלים לעקוב אחר זרימת עבודה מובנת:

1. (FLT:0)Start עם ירידה ממדית או בחירת תכונה.BuildFLT:1) השתמש בידע דומיין, ניתוח קורלציה או סינון שיטות כדי לדגום תכונות לפני כל מודל מבוסס עץ.צעד זה הוא המשפיע ביותר עבור צמצום רעש ועלות חישובית.
2. (FLT:0) עצי החלטות קבועים.FLT:1 קביעת גבולות על עומק עץ ועלות על גודל, ועסקת עומסי עלות.מתאים באופן סופי היפרדות באמצעות גלגול צלב כדי להימנע מהתאמה יתר.
3. (FLT:0Switch לשיטות הרכב.FLT:1irran Forests) הם ברירת מחדל בטוחה.אם הדיוק הוא קריטי, נסה להגביר את הסדיר הנכון והפסקת מוקדם.
4. (FLT:0) מודל הפרשות של מודל קונספירר (FLT:1) עבור עצים רדודים, תמצית כללים; עבור האנסמבלים, השתמש באפקט ההסתה או ערכי SHAP כדי להבין את המודל, להיות מודע להטיות כאשר תכונות הם מאוד תואמים או רבים.
5. (ב) אם הביצועים נותרו עניים, לחקור מודלים חלופיים של LT:1 כמו LASSO, ליניארי SVM, או אלגוריתמים מיוחדים כגון FLT:2sparse Decision TreesphsFLT 3: (למשל, באמצעות עצי סיווג אופטימליים עם מעצמת עומק מקסימלית).

הבנה עמוקה יותר של קללת המימדליות ניתן להשיג מ-FLT:0 (המאמר ויקיפדיה על קללת ממדיותFLT:1, אשר מסבירה את היסודות המתמטיים.להשוואה מעשית של שיטות המבוססות על עץ, הנייר (FLT:2) "האם אנחנו צריכים מאות מטיפים כדי לפתור בעיות ייצוג עולמיות אמיתיות?"

מסקנה

עצי ההחלטות נשארים כלי יקר בלמידה של מכונה, אבל המגבלות שלהם בחללים תלת-ממדיים הם משמעותיים ויש להכיר בהם. overfitting, הקללה של ממדיות, חוסר יציבות, הוצאות חישוביות, ואובדן של הפרשיות הכל משלב כדי לחדד את הביצועים שלהם כאשר מספר התכונות הוא גדול יחסית למספר התצפיות אוניברסאליות, למרבה המזל, אתגרים אלה ניתן לטפל באמצעות הנדסה קפדנית, צמצום, סדירה, ושיטת ידע על ידי שימוש במקרים רבים, על ידי זיהוי נתונים סטטיסטיים, על ידי שימוש יעיל, על ידי שימוש במקרים רבים, על ידי שימוש במקרים של נתונים לא ניתן להשיג נתונים סטנדרטי, באופן קבוע, על ידי שימוש במקרים רבים, על ידי זיהוי נתונים, על ידי זיהוי נתונים סטנדרטי, על ידי שימוש קבוע של נתונים, באופן טבעי, על ידי זיהוי נתונים, או שיפור יעיל של נתונים סטטיסטיים, למרבה באופן טבעי, באופן טבעי, באופן טבעי, על ידי שימוש באופן טבעי, על ידי שימוש במקרים רבים, באופן טבעי, באופן טבעי, באופן טבעי, למרבה, ללא ספק, למרבה באופן טבעי, באופן טבעי, על ידי שימוש באופן טבעי, ללא ספק, ללא ספק, למרבה, על ידי שימוש במקרים של נתונים, על ידי שימוש באופן טבעי, ללא ספק, למרבה המזל, למרב