השוואת עץי ההחלטות וזרמים אקראיים: מה יותר טוב לפרויקט שלך?

כאשר בונים צינור למידת מכונה עבור סיווג או תוקפנות, אחת האפשרויות המוקדמות ביותר שאתה נתקל בו היא האלגוריתם להשתמש בעצי החלטות וביערות אקראיות הן שניים מהמודלים הנפוצים ביותר, כל אחד עם תיעוד ארוך של הצלחה על פני תעשיות מכספים לבריאות.למרות הבסיס המשותף שלהם, הם שונים ביסודו המורכבות, הפירוש, וביצועים זה מרחיב מדריך מספק השוואה יסודית, לחקור את העבודה הפנימית שלהם, מציע עזרה מעשית עבור הכלי שלך כדי לבחור את הכלי הנכון כדי לבחור את הכלים שלך.

מהו עץ החלטות?

עץ החלטות הוא אלגוריתם למידה בפיקוח כי החלטות מודלים והשלכות אפשריות שלהם כמו מבנה דמוי עץ.זה מתפצל באופן רציונאלי את הנתונים הסט לתוך תת-תחומים המבוססים על ערכי תכונות קלט, עם כל צומת פנימי המייצג מבחן על תכונה, כל ענף המייצג את התוצאה של המבחן, וכל עלה מחזיק תווית ייצוגית חזו (ההתאמה) או ערך מתמשך (העברה) הוא מטרה ליצור מטרה טהורה עם פוטנציאל לחיקוי אפשרי.

עצי ההחלטות הם פרס על השקיפות שלהם.אתה יכול פשוטו כמשמעו לעקוב אחר נתיב מהשורש אל עלה כדי להבין בדיוק מדוע חיזוי מסוים נעשה.פרשיות זו אינה ניתנת לערעור בתחומים שבהם עמידה רגולטורית או אמון בעלי המניות דורשים חשיבה ברורה, כגון ניקוד אשראי או אבחון רפואי.עם זאת, אותה גמישות שהופכת אותם לפירוש גם גורמת להם לתנודות גבוהה - שינויים קטנים בנתונים יכולים לייצר עצים מתאימים מאוד, מוביל יותר, מוביל יותר, כדי לגרום להם לעצים.

כיצד עץ ההחלטות מקבל החלטות

תהליך בניית העץ מורכב מבחירת התכונה הטובה ביותר לפיצול בכל צומת.הקריטריונים הנפוצים לבחירת פיצולים כוללים FLT:0Gini ImpurityFLT:1 (לסיווג) ו-FLT:2entropyFLT 3: 3 (רווחי מידע), בעוד שעצים רגרסניים משתמשים בדרך כלל בהפחתה מגובשת.

לדוגמה, במשימה סיווג החיזוי הלקוח, שורש הצומת עשוי לפצל על "אורך קבוע ⁇ 12 חודשים" אם זה פיצול מפריד בין כנרים מ שאינם צ'כיה טוב יותר מכל תכונה אחרת, זה הופך לההחלטה הראשונה.התהליך חוזר על עצמו באופן חוזר על כל ילד ללא כל צומת עד שתנאי עצירה הוא נתקל - כגון להגיע לעומק מקסימלי, שיש לו פחות מדגימות, או יותר, ללא הפחתה.

Hyperparameters

יישום עץ החלטות מעשי, כמו אלה ב- scikit-learn, לחשוף כמה היפר-פרפרמטרים השולטים בגידול העץ ולהפחית את הכדאיות:

(ב) ויקרא י"א: "ה'," (בראשית כ"ד)" (בראשית כ"ד) "וַיָּעָשֶׂה אִם עַמֶּה, אִם יְהוָה נָעָשָׂעָעָעָעָשָׂעָעָעָעָעָעָשָׂר" (ב"ב).
(ב) [15] ⁇ samples splitFirLT:1 ; המספר המינימלי של דגימות הנדרש כדי לחלק צומת פנימי.
(ב) [15] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ⁇ 0 (מקסימום featuresFLT:1) - מספר התכונות לשקול בעת חיפוש הפיצול הטוב ביותר. Reducing זה מוסיף אקראיות ויכול לשפר את הביצועים.
(ב) ,0) ,התפקיד למדוד איכות מפוצלת (למשל, "ג'יני" או "נחישות" לסיווג, "מס" לתוקפנות).

כוונון פרמטרים אלה הוא חיוני כדי לאזן הטיה וחלופה.ללא מגבלות, עץ החלטות יכול באופן מושלם למיין את נתוני האימון, המוביל לביצועים של מבחן גרוע.

חוזקות וחלשות של עצי ההחלטות

(ב) ⁇ ⁇ ⁇ ⁇ ⁇

קל להבין ולדמיין, אפילו לא למומחים.
נדרש עיבוד נתונים קטן (לא צריך קשקשים או דומי משתנים).
יד ביד הן נתונים מספריים והן קטגוריים באופן טבעי.
ניתן ללכוד מערכות יחסים לא לינאריות ללא הנדסה.
בין-הלוח – ניתן להסביר כל תחזית עם מערכת כללים.

(ב) ויקרא י"ד:

שרטוטים גבוהים: שינויים בנתונים קטנים יכולים לשנות באופן דרסטי את מבנה העץ.
כדי להפריז, במיוחד על נתונים רועשים או על פני ממד גבוה.
דיוק חיזוי נמוך יותר בהשוואה לשיטות הרכב.
חוסר יכולת: פיצול אחר בצומת העליון יכול לעגל לתוך עץ שונה לחלוטין.
עשוי ליצור עצים מוטים אם חלק מהשיעורים שולטים (חוסר איזון מעמדי).

מהו יער אקראי?

יער אקראי הוא שיטת למידה משותפת אשר בונה אוסף של עצי החלטות ומשלבת את הפלט שלהם כדי לשפר דיוק ועוצמה.זה מסתמך על שתי טכניקות אקראיות מפתח: FLT:0baggingFLT:1 (בקיצור אסטרוגן) ו-FLT:2random Subspaceation 3: כל עץ מאומן על מדגם שונה (מדגם כפול) עם חיזוי ממוצע (Flasting) נחשב באופן משמעותי של נתונים התפלגות) או ירידה רגילה (שלבים) רק באופן משמעותי).

הכוח של יערות אקראיים מגיע מהחוק של מספרים גדולים: כפי שאתה מוסיף יותר עצים, טעות הכללה מתאחדת למגבלה.הם חזקים להפליא כדי לעקוף ויכולים להתמודד עם נתונים גדולים עם ממדיות גבוהה, ערכים חסרים, ופרטים.עם זאת, טבע ההרכב הזה מקריב את הפרשות הישירות של עץ יחיד.

מכניקה של יערות אקראיים

אימון יער אקראי כולל שלושה שלבים:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) [ה]כל מדגימה: [ב], [ה] [ה] [ה]], [ה], [ה]], [ה], [ה]]]], [ה'] [ב[[המאה ה'], [ה'], [ה']'[ה']']']'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
(ב) ⁇ :0) ⁇ : 1 לסיווג, לקחת את הרוב להצביע על פני העצים.

ה-[[1924]] הוא [[1924]], [[1924]], [[1924]]]], [[1924]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]], [[1924]]

Hyperparameter Tuning

היפרפרמטרים מרכזיים ביערות אקראיים (שיבוצי למידה) כוללים:

(ב) [15] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ⁇ 0 (מקסימום featuresFLT:1) - גודלו של תת-התכונה האקראית. ערכים נמוכים מגבירים את האקראיות אך יכולים לעזור עם תכונות רועשות.
(ב) ⁇ (ב"ג) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ניתן להגדיר גבוה יותר כדי לחלק את המודל, אך בדרך כלל נותר קטן.
(ב) ,0) ,BlowtstrapFLT:1 - דגל בוטה כדי לאפשר דגימה / בלתי ניתנת לערעור (הסתה הופכת אותו ל"כי" של עצים ⁇ סטים, פחות נפוץ).

יערות אקראיים קלים יחסית לכוונון כי הם פחות רגישים ליפרפרפרמטר מאשר עצים בודדים.נקודת התחלה הגיונית היא FLT:0 ו-FLT:1, ואז להסתגל בהתבסס על טעות אובו-בייט.

מתי להשתמש ב-random Forest

שקול יערות אקראיים כאשר:

דיוק חיזוי הוא המטרה העיקרית ויש לך מספיק משאבים חישוביים.
הנתונים שלך הם גדולים, ממדיים, או מכילים אינטראקציות ולא לינאריות.
אתה צריך דירוגים בעלי חשיבות בנוי כדי להבין אילו משתנים מניעים תחזיות.
נתונים חסרים נמצאים (ערות רפאים יכולות להתמודד עם ערכים חסרים באמצעות היערכות מבוססת קרבה, אם כי מומלץ לבצע מזהמים מפורשים).
אתה רוצה מודל שמגמל היטב ללא כוונון היפר-פרפרפרמטר נרחב.

השוואת עץי החלטות וזרמים אקראיים

ההשוואה הבאה מדגישה את ההבדלים הקריטיים בין שני האלגוריתמים על פני ממדים רבים הרלוונטיים להחלטות הפרויקט.

יכולת

(ב) עץ הדעת: (ב) ,ב"ה, ניתן לדמיין את העץ ולהפיק כללים מפורשים.FLT:2Random יער: ⁇ FLT 3: 3 דיקטטורה ענייה בשלמותה.You יכול לבדוק עצים בודדים, אך החלטת ההרכב היא חשיבות מצטברת.

דמוקרטיה וממשלה

יערות אקראיים באופן עקבי מפורקים עצי החלטות בודדים דיוק על רוב הנתונים בעולם האמיתי.הרכב מקטין את השחלות, מה שמוביל להכללה טובה יותר. עצי ההחלטות לעתים קרובות מתפרסמים על נתונים לא נראים בגלל התאמה יתר, במיוחד כאשר גדל עמוק.

overfitting and Variance

עצי החלטות הם מודלים של השחלות גבוהה: שינוי קטן בנתונים של אימון יכול לייצר עץ שונה מאוד. יערות אקראיים להפחית השחלות על ידי גידול עצים רבים הקשורים לעיצוב, מה שהופך אותם הרבה יותר חזקים. למעשה, יערות אקראיים לעתים רחוקות יותר מתאימים כמו להוסיף יותר עצים; השגיאות נוטות לייצב.

עלויות פיצוי

אימון עץ החלטה יחיד הוא מהיר.זרות אקראיות דורשות הכשרה:0irnFLT:1 עצים, כל אחד על דגימה ממלכודת המגפיים, אשר יכול להיות יקר חישובי.עם זאת, אימון עץ הוא במקביל, חומרה מודרנית מקבל יערות אקראיים אפשרי אפילו עבור נתונים גדולים. חיזוי זמן הוא גם איטי יותר עבור יערות אקראיים כי כל עץ חייב להעריך את הקלט.

עקבו אחרי Missing Data

עצי ההחלטות יכולים להתמודד עם ערכים חסרים במידה מסוימת על ידי שימוש בפיצולים חלופיים (Scikit-learning אינו מיישם את השפה הטבעית; יישומים רבים מתייחסים לחסר כקטגוריה נפרדת). יערות אקראיים יכולים גם לטפל בנתונים חסרים, אך המזהמים הם בדרך כלל מומלץ.

חשיבות

שני המודלים יכולים לספק ציוני חשיבות חשובים. עבור עצי ההחלטות, החשיבות מבוססת על ההפחתה הכוללת של חוסר הכדאיות שתרמו כל תכונה. יערות אקראיים מספקים מדד יציב ואמינה יותר על ידי מינוף של עצים רבים.

יציבות ורובוסטנס

עצי ההחלטות אינם יציבים – הפרעות קטנות בנתונים שמובילות לפיצולים שונים. יערות אקראיים יציבים; התחזיות של ההרכב הן רגישות לקורראיון בתהליך האימון.זה הופך את היערות האקראיות לבחירה בטוחה יותר עבור מערכות ייצור.

סקלאה

עצי ההחלטות עולים במידה רבה על מנת לקבל נתונים גדולים מאוד אם גדל עמוק (שימוש בזיכרון גדל) יערות אקראיים בקנה מידה טוב בשל אימון מקבילים, אבל הזיכרון יכול להיות צוואר בקבוק כאשר אחסון עצים רבים.

מה כדאי להשתמש? מסגרת החלטה

בחירת עץ החלטה לבין יער אקראי תלוי בסדר העדיפויות של הפרויקט שלך.

(FLT:0) אם הפרשנות אינה ניתנת להשגה: ⁇ FLT 1 מתחיל עם עץ החלטה.לוודא שאתה מפר אותה (התחל max עמיק, Min samples leaf) כדי להימנע מהתאמה יתר.אם הדיוק עדיין אינו מספיק, לשקול יער אקראי עם ניתוח תכונה חשובה כדי להסביר את המודל.
(FLT:0) אם הדיוק הוא חשוב: FLT:1hil יער אקראי כמעט תמיד טוב יותר.זה יהפוך עץ אחד על נתונים מורכבים.
(ב) אם המשאבים החישוביים מוגבלים: FLT:1 עץ החלטה יחיד הוא קל משקל.You יכול גם לנסות עץ רדודה כבסיס.אם יער אקראי איטי מדי, לשקול ⁇ שיטות (למרות שהם גם אינטנסיביים חישובית).
(ב) אם תחילת הנתונים קטנה מאוד (למשל, פחות מכמה מאות דגימות): עץ החלטה עם ריצוף זהיר עשוי להיות מספיק.
(FLT:0) אם אתה צריך לטפל בסוגי נתונים מעורבים וערכים חסרים: FLT 1:1 שניהם יכולים להתמודד, אבל עצי החלטות עם פיצולים חלופיים (למשל, rpart) הם יותר פשוטים עבור החסרה.
(ב) אם אתה נוטה לנטייה וצריכה ריתוק מהיר: FLT:1 השתמש עץ החלטה תחילה.הוא מאמנת מיד ונותן לך בסיס.

טיפים אמיתיים

הנה כמה המלצות על שימוש באלגוריתמים אלה בזרימת עבודת המחקר של מדעי הנתונים שלך (דוגמאות של scikit-learning).

(ב) ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]
(ב) ב[[1924]], [[1924]]]], [[1924]]]], [[1924]]]], [[1924]]]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]], [[1924]]]]
(FLT:0) הנדסה הנדסה אפית'ר:1: שני הדגמים מטפלים בתכונות גלם היטב, אבל יערות אקראיים נהנים מתכונות אינפורמטיביות.
(ב) ויקרא י"א: "ה' (ב) ויקרא י"א): "ה' (במדבר כ"ד)" (בראשית כ"ד, ט).
(ב) [ה]ב[[1724]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]]]] ו[[1924]]]]]]]]]], [[1924]]]]]]]]]]
(ב) [ה]: אם אתה צריך גם דיוק וגם הסברה, השתמש ביער אקראי עבור תחזיות והתאמה לעץ החלטות רדודה כמודל חלופי להשוואה בין החלטותיו (צורה של דיפאון מודל).

מסקנה

עצי החלטות ויערות אקראיות הן כלים עוצמתיות, אך הן משרתות צרכים שונים.עצים החלטות מציעים שקיפות ופשטות שאין כמוהו, מה שהופך אותם אידיאליים לניתוח חקירה ותרחישים שבהם הבנה של כל חיזוי היא יערות אקראיים להקריב כמה הסתברות בתמורה לדיוק גבוה יותר, עמידות והתנגדות להתאמה יתר של פרויקטים בעולם האמיתי, במיוחד אלה עם נתונים מורכבים, גדולים, יערות אקראיים, הוא יער אקראי יותר בטוח יותר, כמו תמיד אפשרות טובה יותר, אם אתה יכול להתחיל עם גישה פשוטה, עם דיוק, פעם אחת, עם זאת, פעם אחת פשוטה, עם זאת, עם זאת, אם אתה יכול להיות בטוח יותר בטוח יותר, עם זאת, אם אתה יכול להיות בטוח יותר, אם אתה יכול להיות בטוח יותר, עם זאת, עם זאת, אם אתה יכול להיות בטוח יותר, עם זאת, אם אתה יכול בקלות, עם זאת, אם אתה יכול להיות בטוח יותר, עם זאת, עם זאת, עם בסיס אקראית, עם יותר, עם זאת, עם זאת, עם יותר, עם התפתחות פשוטה יותר, עם זאת, אם אתה יכול להיות בטוח יותר, עם יותר, אם אתה יכול להיות בטוח יותר, אם אתה יכול להיות בטוח יותר, אם אתה יכול להיות בטוח יותר, אם אתה יכול להיות בטוח יותר, אם אתה יכול להיות בטוח יותר,

(ב) לעיין בתיעוד הסקיט-לימוד הרשמי של ה-FLT:0) ב[[1924]] וב[[1924]] וב[[1924]], [[1924]], [[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]] ו[[1924]]