שיטות עיבוד נתונים הטובות ביותר לבניית עץ החלטות יעיל

עצי ההחלטות נשארים אחד האלגוריתמים המפרשים והנפוחים ביותר ללמידה של מכונות עבור סיווג ושיקום.המבנה ההיררכי, מבוסס הכלל, מספק את קבלת ההחלטות האנושית, מה שהופך אותם לבחירה עבור אנליסטים ומדענים נתונים.אבל הביצועים של כל מודל עץ החלטה שהופך את הנתונים היעילים ביותר, אם עץ יחיד, יער אקראי, או הרכב מחוספס – תלוי באופן ביקורתי באיכות הגלום של נתונים לא סדירה, לעתים רחוקות יותר, אך אינו מכיל נתונים נקיים יותר, אלא רק תכונות קבועות.

מדוע עיבוד חומרים לעץ החלטות

בניגוד למודלים רבים אחרים של למידת מכונה (למשל, תוקפנות ליניארית, רשתות עצביות), עצי ההחלטות חזקים יחסית לפגמים מסוימים של נתונים.לדוגמה, הם יכולים להתמודד עם מערכות יחסים לא לינאריות ללא הנדסה מפורשת, והם אינםחלים לשינויים מונוטוניים.

(FLT:0) ,Handling Inconsistent Data:cioFLT:1 ערכים חסרים, טיפאוס או קטגוריות לא מופרכות יכול לגרום לעץ לעשות פיצולים שאינם משקפים דפוסים אמיתיים, המוביל למודלים מוטים או לא מדויקים.
(ב) ,0) גורמות מורכבות: 1FLT:1 תכונות אי-רלבנטיות או אדומות מציג רעש, להגביר את עומק העץ, להעלות את הסיכון של עיבוד יתר.
(FLT:0) אישור Interprettability: ההרחבה 1 (מחדש) נתונים נקיים, קודמים היטב מניבים עצים עם פיצולים משמעותיים שמומחים בתחום יכולים להבין ולאמת.
שיטות האנסמבל:0 (Enabling Ensemble Methods:FLT:1 טכניקות כמו יערות אקראיים ו- ⁇ מגביר הם אפילו רגישים יותר לאיכות נתונים כי הם מצטברים עצים רבים. Preprocessing מבטיח כי כל עץ באנסמבל לומד אותות באיכות גבוהה.

עיבוד יעיל לעצי החלטות פוגע איזון בין שמירה על המבנה הטבוע של הנתונים והסרת מכשולים אשר יטעו את הקריטריון המתפצל (למשל, נחיתות או אנטרופיה) החלקים הבאים פרט את הטכניקות המשפיעות ביותר, הורה מראש למתקדמים.

מידע חסר יד: יותר מאשר פשוט

נתונים חסרים הם כלולים בנתונים בעולם האמיתי.עצים החלטות יכולים לטפל באופן חלקי בערכים החסרים - חלק מהיישומים (למשל, ב-Sikit-learnt-learnt) יכולים לחלק דגימות עם ערכים חסרים באמצעות "פיצולי כירורגי" אך, תוך הסתמכות אך ורק על מנגנון בנוי זה הוא תת-אופטימלי, במיוחד כאשר שיעור החסרות גבוה או כאשר הנתונים החסרים הוא אינפורמטיבי.

זיהוי החסרות מכניזם

לפני בחירת שיטה, להבין מדוע נתונים חסרים:

(הפסקה:0) ב-randomdom (MCAR): "העדר" 1 (העדר) אין שום קשר עם כל משתנה אחר.
(הפסקה:0) ממשימה בנדונדום (מר): "העדר" 1 תלוי במשתנים אחרים שנצפו (למשל, נשים נוטות יותר לדלג על שאלת משקל).
(העדר:0) המשימה לא בנדונדום (MNAR): אנדרל 1) החוסר תלוי בערך הבלתי נשגב עצמו (למשל, אנשים עם הכנסה גבוהה מאוד מסרבים לדווח על הכנסה) זה מסובך; לשקול שימוש בעמודה "מחושה" לדגל מקרים כאלה.

טכניקת הרתעה

(הופנה מהדף ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

(ב) [ה]:0 [ל] להיעדרות גדולה (למשל,>50% מהתכונה): לשקול פיזור 1:1 [=0] בהתחשב בירידה לחלוטין בתכונה כולה.אם התכונה היא קריטית, ליצור קטגוריה נפרדת של "הנעה" למשתנים קטגוריים או לדגל החסר כסימן בינארי לתכונות נומרניות.

(ב) ,ב[[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]

המונחים: Preworth order without Bias

עצי ההחלטות דורשים קלט מספרי.הטבעת הופכת קטגוריות למספרים, אך הבחירה של שיטת סיבולת משפיעה מאוד על התנהגות הפיצול של העץ.המפתח הוא להימנע מלהציג יחסים מלאכותיים אודיניים שאינם קיימים.

קטגוריות של Nominal vs. Ordinal

(ב) [ה]: [ה], [ה], [ה], [ה], רמת החינוך: בית הספר התיכון: 2Label EncodingsFLT: 3 (כסימן בטריד 0,1,2,2,] והעץ יפיק באופן טבעי פיצולים המבוססים על הסדר אם הסדר תואם את המטרה.
(ב) [ה]: [ה] [ה] [ה] [ה]] [ה] [ה]][ה]]][ה]]][ה]][ה]]]][ה]]]]][הצבע] [ה] [ה]] [הצבע] [ה] [ה]] [התחילה]]] [ה]]] [ה[ה]]]]] [ה[ה[ה]]]]]]]]]]] [ה[ה[ה[ה[ה[ה[ה[ה[ה[ה[ה[ה]]]]]]]]]]]]]]]]]]]]]]]]]] [ב[[ה[ב[[ה[ב[[ה[ב[[ה[[ה[ב[[ה[ה[ה[ה[ה[ה[ה[ה[ה[ה[ה[[ה]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]] [ה[

ההרחבה מתקדמת לעץ ההחלטות

כמה יישום (כמו LightGBM ו CatBoost) בנו טיפול קטגוריאלי. CatBoost, למשל, משתמש בקידוד יעד הורה כי להפחית את ההתאמה.אם אתה בונה עץ מאפס או באמצעות scikit-learn, תצטרך לקוד באופן ידני.תמיד להעריך ביצועים עם אפשרויות שונות של ⁇ ; לפעמים פשוט אחד חם אחד מפורממים אם הקרדינל נמוך מאוד (למשל, אם כי הוא מכיל 10 גרם).

מצגת: כאשר זה משנה ומתי זה לא

עצי ההחלטות הם החלולים בהתמרה מונוטונית (הרחבה, הגירוטים וכו') כי הם מתחלקים על סף ביחס להתפלגות הפנימית של התכונה. A תכונה שגודלה ל[0,1] מניבה את אותם הפיצולים כאשר הם בקנה מידה ל [0,100] – העץ פשוט מאמת את הסף.

(FLT:0) שיטות ארסמנליות (FLT:1 ⁇ ) כמו ⁇ יכול להשתמש בסדירה כי היתרונות מתכונות בקנה מידה (למשל, פרמטר XGBoost של XGBoost's max delta step פרמטר ').
(FLT:0) שילוב עם אלגוריתמים אחריםFLT:1 (למשל, באמצעות PCA כדי להפחית את המימדליות לפני עץ החלטה) דורש סקאלה למנוע תכונות עם גודל גדול יותר של מרכיבים מרכזיים.
(ב) ⁇ :0) ופירושו: ⁇ 1 (התב"ה) יכול להפוך את סף הפיצול לקל יותר לדון בתכונות שנמדדו ביחידות שונות.

אם תבחר בקנה מידה, השתמש ב-FLT:0 [Min-MAX Scaleing Scaleing] 1 (ל-0,1] או [-1,1] או FLT:2StandardizationsFLT 3: 3 (z-score) שניהם עובדים; Min-MAX משמר את טווח התכונה, בעוד סטנדרטיזציה מושפע פחות מ-outliers, עבור עצי החלטה, סטנדרטיזציה היא עדיפות במקצת כי מרכזי נתונים מחולקים, לעומת זאת, לעומת זאת, לעומת זאת, לעומת זאת, ההשוואה בין השאר.

ידה של פורה: תנו לעץ להחליט (בעיקר)

עצי ההחלטות עמידים להפליא בפני יוצאי דופן.כי פיצולים מבוססים על נתונים סטטיסטיים על סדר, ערך קיצוני אחד רק משפיע על הענף המכיל אותו.בניגוד למודלים ליניאריים, אלגריה לא מושכים את כל המודל.

עץ ה[[17]]: [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]
(ב) ,0) ,NISy פיצולs: FLT:1 Outliers יכול ליצור אזורים מזויפים שאינם כלליים, במיוחד אם משולבים עם נתונים חסרים.

התרגול הטוב ביותר הוא ל-FLT:0 (או ניצחונות) או ניצחונות (הערכים הקיצוניים באחוזון סביר (למשל, 1st ו-99 אחוזים) לחלופין, להפוך את התכונות באמצעות טרנספורמציה של יומן או Box-Cox כדי להפחית את הישושות, אך שימו לב כי השחלות של העץ פירושה שינוי נדיר של הגבולות אלא אם כן גם לפרו את העץ מתון למזגו של חומרים, כלומר, על מצבים (למשל, על מנת למקם את הנתונים) או להגדרה עמוקה יותר (מדומים) על פני השטח).

אפשרויות ל: פחות זה יותר

עצי החלטות מבצעים באופן אוטומטי סוג של בחירה תכונה על ידי בחירת פיצולים הממקסמים את רווח המידע.עם זאת, כולל תכונות לא רלוונטיות רבות יכול לפגוע בביצועים:

(ב) ⁇ :0) , ⁇ : "העץ עשוי לתפצל בטעות על תכונה רועשת שנראה כי יש עלייה של מידע גבוה בשל סיכוי, במיוחד עם נתונים קטנים.
(ב) עלות חישובית:0) עלות חישובית: FIRLT:1 (יותר תכונות) פירושה יותר פיצולים של מועמדים, להאט את ההכשרה.
(ב) ,0) ,ב"העץ יכול להיות מורכב לחלוטין.

טכניקות עיבוד מתקדמות

אינטגרציה ודיססטרטגיזציה

עם זאת, עצים החלטות באופן טבעי משלבים תכונות רצופות בנקודות מפוצלות. ... +, באמצעות כפל או שווה - ⁇ ⁇ ⁇ תכונות מתמשך , הפחתה של מספר קטן של בינארי (למשל, באמצעות שווה ערך או שווה ⁇ בינארי) יכול לפעמים לשפר את יכולת הפירוש ולהפחית את הכדאיות, במיוחד כאשר היחסים בין התכונה לבין המטרה אינה מונותוני.

יצירת תכונות אינטראקציה

עצי ההחלטות תופסים אינטראקציות באופן בלתי נמנע באמצעות פיצולים היררכיים (למשל, פיצול ראשון על גיל, אז על הכנסה) אבל אם אינטראקציה היא מאוד חיזוי וכולל תכונה עם שידות נמוכות, העץ עשוי לדרוש פיצולים רבים כדי ללכוד אותו. Explicitly יצירת תכונה חדשה המשלבת שני משתנים (למשל, בדיקות הכנסה) יכול להפוך את העץ יעיל יותר, עם זאת, כדי להגדיל את המודל הזה באופן אוטומטי.

עקבו אחרי Im Balanced Data

כאשר שיעורי היעד הם חסרי איזון כבדים (למשל, זיהוי הונאה עם 1% הונאה), עצי ההחלטות הופכים להטיה כלפי מעמד הרוב.

(ב) [ה]התערות: [ה][דרוש מקור]] [ה] [ה]] [המאה] [ה]]] [המאה ה-1] היא ה[[המאה ה-1]], או ש[[המאה ה-20]], היא בעלת כפלה של [[המאה ה-20]], ו[[המאה ה-20]], ו[[המאה ה-20]], ו[[1924]],]], [[המאה ה-20]],]],]],]], [[ה[[1924]],]], [[המאה ה[[1924]],]], [[1924]],]],]], [[1924]], [[1924]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]], [[1924]], [[1924]]]]]], [[1924]], [[1924]]]]]], [[1924]]]]]], [[1924]], [[1924]], [[1924]]]]]]]]]], [[1924]], [[1924]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924
(FLT:0) למידה רגישה: FLT:1, יישום עץ רבים מאפשרים הקצאת עלויות שונות של מומים בשיעור (למשל, "מדידה מד" ב- scikit-learn) זה מאמת את הקריטריון הכדאי לענשת שגיאות על שיעור המיעוט יותר.
(ב) ,0) , 000 ⁇ עם מגפיים מאוזנות: ⁇ 1 עבור יערות אקראיים, השתמש דגימות מפוספס מאוזנות שבו כל עץ מאומן על תת-קבוצה מאוזנת.

תכונות טקסט ותאריך

(FLT:0) ,Text data:FLT:1 להמיר את התיק-of-words או TF-IDF ו ועצי החלטות (במיוחד אלה עמוקים) עדיין יכול לעבוד עם תכונות טקסט עתיריות גבוהות, אך לשקול צמצום ממדיות באמצעות מודל או הפקת מילות מפתח.

(FLT:0)Date / זמן נתונים: FLT:1Buildic Features (שעה של יום, יום בשבוע, חודש) ולטפל בהם כאודין או נומינאל. עבור מגמות, להפיק זמן מאז נקודת מפנה עצי החלטות יכולים ללכוד את העונה ואת המגמות, גם אם התכונות נגזרות הן משמעותיות.

פיתוח מידע על עץ ההחלטות

זרימת עבודה שיטתית מבטיחה עקביות ומונעת דליפות נתונים (בדרך כלל באמצעות מידע יעד במהלך עיבוד מוקדם, אשר הערכה לא יסולא בפז).

(FLT:0) עיין בנתונים מוקדם: 1.FLT 1 בנפרד לאימון, אימות ומבחן קובע לפני כל עיבוד המשמש מידע יעד (למשל, מיקוד מטרה, SMOTE).
(ב) [ה]הולד נעדר ערכים: 1] על הכשרה שנקבעה באמצעות פרמטרים מתאימים של מזהמים (למשל, ערכים אמצעיים) כדי ליישם את חוקי אימות / קבוצות מבחן.
(FLT:0)Encode משתנה קטגוריאליים LT:1 , בהתבסס על קטגוריות הכשרה להגדיר. עבור תווית קידוד, לשמר מיפוי; עבור חד פעמי, לטפל קטגוריות לא ידועות במבחן שנקבע על ידי קיבוץ אותם.
(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ,0) , תכונת כפלה (ב) , אם יש צורך (למשל, להרכב או ירידה במימד).
(ב) ⁇ (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) [ה]התערות על חוסר איזון בין 1 ל'1', על מערכת האימונים (מיעוט גדול) לאחר פיצול, כדי להימנע מדלפת נקודות סינתטיות לתוך מערכת האימות.
[ה] [ה]]] ב[[המאה ה-20]], [[המאה ה-20]], [[1924]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]
(ב) ,0) ,(ה) ב-[[1924]], על פי חוקה לא-מחדשת.

זרימת עבודה זו חלת הן על עצים בודדים ורכבים מבולדים / מרופדים.עבור האנסמבלים, לשקול הוספת שלב בחירה תכונה חשובה מבוסס תכונה לאחר ריצה ראשונית, ולאחר מכן לבנות מחדש.

מלכודות נפוצות וכיצד להימנע מהם

(ב) הפחתה של נתונים ממניעה: ⁇ 1 לעולם לא מקביל / אמצעי על כל הנתונים לפני פיצול.
(ב) ⁇ 1-חם גורם ספיליה: ⁇ 1 (הראשונה ל-cardinality Categoricals, שקול hashing or goal ⁇ to keep Featuresable).
(FLT:0) אבחון ידע התחום: FLT:1 עיבוד לא צריך להיות אוטומטי לחלוטין.לדוגמה, בנתונים רפואיים, ערך מעבדה חסר עשוי להיות "לא הורה" ולא "לא ידוע".
(FLT:0) ,מתאים למאגרי נתונים קטנים: אנדרל 1 (השימוש בתכונות פשוטות יותר (תכונות כרומוזומות עם ערכים רבים חסרים, השתמש במניעה בסיסית) ובעומס כבד.
(ב) ,0 , קשקשים הם תמיד מיותרים: ⁇ FLT:1 בעוד אמת עבור עץ יחיד, עצים מוכופים (למשל, XGBoost) יכול ליהנות מתכונות בקנה מידה כאשר משתמשים בפרמטרים סטנדרטיים.

מסקנה

עיבוד נתונים אינו משימה בגודל אחד; הטכניקות הטובות ביותר תלויות במאפיינים הספציפיים של תחילת הנתונים שלך ואת וריאנט עץ ההחלטות שאתה בוחר.עם זאת, העקרונות נשארים קבועים: מטרת נתונים נקיים, מאורגנים היטב המשמרת דפוסים משמעותיים תוך הסרת רעש. החל בטיפול חזק של ערכים חסרים, קידוד זהה של משתנים קטגוריאליים, ובחירה מחושבת ייתן את השיפורים הגדולים ביותר, כגון טכניקות מתקדמות, לחץ דם, במיוחד עם תכונות מתקדמות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, טיפול אינטנסיביות, טיפוליות, או חוסר איזון מתקדם, או תכונות מתקדמות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, טיפוליות, בזהירות, טיפוליות, טיפוליות, טיפוליות, בזהירות, טיפוליות, טיפוליות, טיפוליות, טיפול אינטנסיביות יותר, גורמות יותר, , גורמות להשפעות מתקדמות, יעילות, , שיפור מתקדמות, שיפור משמעותי, עם תכונות מתקדמות, טיפוליות, טיפוליות, טיפוליות, עם תכונות מתקדמות יותר, טיפול אינטנסיביות יותר, טיפוליות, טיפול אינטנסיביות, טיפול אינטנסיביות יותר, טיפול אינטנסיביות, טיפול אינטנסיביות, טיפוליות, טיפוליות, טיפול אינטנסיביות, טיפוליות, טיפוליות, טיפוליות

זכור כי עיבוד מוקדם הוא זהה.לאחר אימון מודל ראשוני, לבדוק את העץ וכתוצאה מכך - את התכונות המשמשות לפיצול, ואת ההפצה של תחזיות - כדי להבין איפה איכות הנתונים עדיין יכול להיות חסר. השתמש מומחיות דומיין כדי לאמת כי פיצולים לעשות היגיון. על ידי השקעה זמן במעבדות נאותה, אתה בונה עצי החלטה כי הם לא רק מדויקים, אלא גם מפרשים והחזקה, קבלת נכסים יקרים בכל כלי מדע.