עץ הבחירה אלגורית

אלגוריתמי עץ החלטות כבר מזמן אבן הפינה של כריית נתונים ולמידה מכונה, המציע מודלים מפרשים עבור סיווג ומשימות רגרסיה. בין הנפוצים ביותר הם C4.5, CART, ו- CHAID מביא גישה ייחודית לבניית עצים, השונה כיצד הם מחלקים נתונים, מטפלים בסוגי תכונות שונים, ולנהל את האלגוריתם הנכון יכול להשפיע באופן משמעותי על דיוק, הפרשיות, חישוביות, יעילות חישובית ומספקת השוואה זו, בין המאפיינים הייחודיים.

החלטות עץ

עץ החלטות הוא מבנה דמוי זרימה שבו כל צומת פנימי מייצג מבחן על תכונה, כל ענף מייצג תוצאה של מבחן זה, וכל עלה יש תווית כיתה או חיזוי מספרי.העץ בנוי recursive על ידי בחירת המאפיין הטוב ביותר כדי לפצל את הנתונים בכל צומת, בהתבסס על מדד תנופה שנבחרה.

C4.5 Algorithm

רקע ופיתוח

פותח על ידי רוס קווילאן כורשו לזהות 3, C4.5 הוא אחד האלגוריתמים המשפיעים ביותר עץ ההחלטות בספרות.זה נועד להתגבר על מספר מגבלות של קודמו, במיוחד בטיפול בתכונות רציפות, ערכים חסרים ועץ יזום.האלגוריתם מאומץ חיפוש חמדני באמצעות מרחב העצים האפשריים ומשתמש בקריטריון מפוצל המבוסס על יחסי רווח.

פיצול קריטריון: מידע מקבל Ratio

C4.5 משתמש יחס רווח מידע כדי להחליט איזו תכונה לפיצול על רווח המידע נגזר אנטרופיה, מדד של חוסר יכולת מתיאורית מידע.עם זאת, רווח מידע נוטה לטובת תכונות עם ערכים שונים רבים (קרינל גבוה) כדי לתקן הטיה זו, קווינסלן הציג את יחס הרווח, אשר מסדיר את רווח המידע על ידי המידע הפנימי של ההתפלגות.

עקבו אחרי Continuous Attributes

תכונות רציף (numeric) מטופלים על ידי מיון דינמי של הערכים ומציאת הסף הטוב ביותר כדי לחלק אותם לשני מרווחים.לדוגמה, אם לתכונה יש ערכים 1, 3, 5, 7, האלגוריתם עשוי לבדוק פיצולים כמו ⁇ 3 לעומת 3.3, ⁇ 5 לעומת 5>5, וכן הלאה, בחירת אחד הממקסים את יחס הרווח.

ערכים חסרים וטיפוח

C4.5 מצליח ערכים חסרים בהכשרה ובחיזוי.כאשר חסר ערך תכונה, האלגוריתם משתמש בגישה פרובביליסטית, חלוקת המקרה בין ענפים באופן יחסי להתפלגות הנצפה בנתונים האימון.לחיזוי, ערכים לא ידועים מטופלים באופן דומה באמצעות אותה גישה פרובציונית.כדי להימנע מהתאמה יתר, C4.5 משתמש בשיטה שלאחר-pruning הנקראת LT:0FLT: FLT: מפואר מבוסס-טרור מונע בדיוק מעצים זה אינו משקף את השגיאה 1:1.

חוזקות ומגבלות

C4.5 הוא מאוד מפרש ולעתים קרובות מייצר עצים קטנים יותר ומדויקים יותר מקודמיו.הוא תומך הן בסיווג והן בתוקפנות (באמצעות ה- M5 וריאנט) ועובד היטב עם נתונים הטרוגניים.עם זאת, הוא יכול להיות יקר חישובי עבור נתונים גדולים מאוד עקב חיפוש סף דינמי שלה.בנוסף, ההטיה של האלגוריתם כלפי פיצולים מרובי דרכים יכולה להיות חלק הנתונים כאשר רבים מדי נוצרים ענפים.

לקריאה נוספת ב- C4.5, ראה את העבודה המקורית של קווינסל:0.50: תוכניות ל- Machine LearningveFLT:1.

CART Algorithm

רקע ופיתוח

סיווג ועץ רגרסיה (CART) הוצגו על ידי ליאו בריימן, ג'רום פרידמן, ריצ'רד אוסשן, וצ'ארלס סטון בספרם המלאי 1984.בניגוד ל- C4.5, CART מייצר רק עצים בינאריים, כלומר כל אחד מחלק את הצומת לתוך שני צמתים בדיוק.טבע בינארי זה מפשט היבטים רבים של בנייה ופירוש.

סיקור: Gini Impurity

(ב) משימות סיווג, CART משתמש בהסתברות של פיזור:0Gini, אימפולסיביות (FLT:0) מדדים ל- CART (החלק הראשון) כדי לבחור את הפיצול הטוב ביותר (Gini Impurity) כהגדרתו של רכיב שנבחר באופן אקראי, אם הוא מסומן על פי החלוקה של תוויות ייצוגיות (Cuncent) באופן קבוע, כל התפלגות האלגוריתם (Cuncuncunc) היא שימוש בדרגה נמוכה יותר.

מבנה עץ וריצה

מכיוון ש-CART בונה עצים בינאריים, הוא יכול ליצור פיצולים מרובים באותו תכונה לאורך ענפים שונים, ביעילות טיפול באינטראקציות לא לינאריות.לאחר בניית עץ גדול שמתאים לנתונים, CART מתייחס ל-FLT:0cost-complexity pruningserph 1 (α) כי הוא מציג פרמטר מורכב (α) כי מחלחל לגודל העץ.

סוגי נתונים חסרים וערכים חסרים

CART יכול להתמודד הן תכונות רציפות וקטגוריות של המשתנים המשתנים עם קטגוריות רבות, זה עשוי להעריך את כל החלוקה בינארית אפשרית של קטגוריות.ערכים החסרים מטופלים באמצעות FLT:0surrogate פיצולsssuaFLT:1: כאשר התכונה הפיצולית העיקרית חסרה, האלגוריתם משתמש בתכונה הפונדקאית המתאימה ביותר כדי להחליט את הכיוון של הדוגמה הזו משמר נתונים היטב וחיזוי אפילו רשומות כוח מלא.

חוזקות ומגבלות

CART הוא חזק מאוד ויעיל חישובי עבור נתונים בינוניים. פיצולים בינאריים שלה להפחית את פיזור הנתונים בהשוואה לפיצולי רב-דרך.הממשק שנבנה-in של האלגוריתם של ערכים חסרים באמצעות פונדקאים הוא יתרון משמעותי בנתונים בעולם האמיתי.עם זאת, CART יכול לייצר עצים עמוקים יותר מהנדרש, והאלגוריתם עשוי להיות מוטה כלפי תכונות עם ערכים שונים יותר אם לא סדירים, בנוסף לעצים בינאריים, הם פחות מפורשים.

על מנת להבין לעומק, ראו את בריימן ואת הטקסט הקלאסי של אל:0 קריטריונים והתחדשות עץ רסנס 10:1.

ה- CHAID Algorithm

רקע ופיתוח

CHAID (Chi-squared אינטראקציה אוטומטית Detector) פותח על ידי גורדון V. Kass בשנת 1980 כטכניקה עבור פלח ו סיווג.בניגוד C4.5 ו CART, CHAID משתמשת במבחן משמעות סטטיסטית - במיוחד מבחן השיווי-סquare של עצמאות - כדי להחליט פיצולים.זה הופך אותו מתאים במיוחד עבור נתונים קטגוריאליים ויישומים מחקר שבו הבנה בין משתנים היא חשובה.

סיקור: Chi-Square Tests

CHAID בוחן כל קטגוריות משתנה וממזגות שאינן שונות באופן משמעותי ביחס למשתנה היעד, בהתבסס על מבחן צ'י-סקוויר (למטרות נומינליות) או F-test (למטרות אורניות) ולאחר מכן בוחר את החיזוי אשר מביא את הפיצול המשמעותי ביותר, כלומר, הערך הקטן ביותר של ה- p-p-p-value זה מבטיח כי העץ המתקבל רק הופך לפיצולי זה יכול להיות חלק מנבא יותר לקבוצות המקוריות.

שיתוף נתונים ועץ בנייה

CHAID מיועד בעיקר למשימות סיווג עם תחזיות קטגוריות או מרשימות של מספריים, בעוד שהוא יכול להתמודד עם משתנים רצופים, הם בדרך כלל מוטבעים לקטגוריות לפני הניתוח.האלגוריתם אינו דורש הגדרה ידנית של קטגוריות; הוא מתמזג באופן אוטומטי בין בנינים סמוכים המבוססים על בדיקות סטטיסטיות.ערכים חסרים ניתן לטפל בהם כקטגוריה נפרדת או בלתי מאוישת באמצעות מצב.

חוזקות ומגבלות

הכוח העיקרי של CHAID הוא השקיקה הסטטיסטית שלו, מה שהופך אותו אידיאלי לניתוח הבירור והשערה בדיקות בתחומים כמו שיווק, סוציולוגיה, ובריאות.החלקים הרב-דרך מייצרים לעתים קרובות עצים רדודים קלים יותר לפרש. כי זה באופן אוטומטי מתמזג בין קטגוריות לא-משמעותיות, העץ יכול לחשוף קבוצות טבעיות בנתונים.

על מנת להתייחס ל- CHAID, ראה:0;0) טכניקת גירוש להשקעות במגוון רחב של נתונים קטגוריאליים (Kass, 1980)

ניתוח השוואתי של תכונות מפתח

בטבלה הבאה מסכם את ההבדלים החשובים ביותר בין C4.5, CART ו- CHAID.

Feature C4.5 CART CHAID
Splitting Criterion Information gain ratio Gini impurity (classification), variance reduction (regression) Chi-square test (classification), F-test (ordinal)
Tree Structure Multi-way splits possible Binary splits only Multi-way splits (auto-merging categories)
Supported Target Types Categorical (classification), continuous (with modifications) Categorical and continuous Primarily categorical; continuous via binning
Handling Continuous Predictors Dynamic threshold search Dynamic threshold search Bin into categories (user-defined or automatic)
Missing Values Probabilistic distribution Surrogate splits Treated as separate category or mode imputation
Pruning Method Error-based pruning Cost-complexity pruning Stopping rule via significance level (no explicit pruning)
Scalability Moderate; expensive for large numeric datasets Good for moderate-sized datasets Slower with many categories
Interpretability High (often compact trees) High (binary splits easy to follow) High (statistically justified splits)
Overfitting Control Strong via pruning Strong via cost-complexity pruning Moderate; controlled by significance threshold

מעבר להבדלים טכניים אלה, האלגוריתמים משתנים גם באופן שבו הם מתייחסים לאינטראקציות תכונה. פיצולים בינאריים של CART מאפשרים לו מודל אינטראקציות מורכבות שעשויות לדרוש פיצול חוזר על אותה תכונה. פיצולים רב-דרכים של CHAID יכולים ללכוד אינטראקציות ישירות בפיצול יחיד אם קטגוריות הממוזגות משקפות אינטראקציה עם המטרה. C4.5 פוגעות בקרקע, המציעה פיצולים מרובים, אך ללא המיזוג האוטומטי של קטגוריות של ⁇ .

הוראות לבחירת אלגוריתאם

בחירת אלגוריתם עץ ההחלטה הנכון תלויה במאפיינים הספציפיים של הנתונים שלך ואת המטרות של הניתוח שלך. השתמש בהנחיות הבאות:

  • (FLT:0)Choose C4.5 כאשר:FLT:1 יש צורך באלגוריתם רב צדדי המטפל בנתונים רצופים וקטגוריים, ערכים חסרים נמצאים, ואתה רוצה עץ שקל לפרש.C4.5 הוא בחירה טובה ברירת מחדל עבור משימות סיווג רבות.
  • (FLT:0)Choose CART כאשר:FLT:1ir אתה דורש אלגוריתם חזק עבור סיווג ותוקפנות, הנתונים שלך כוללים ערכים רבים חסרים, או שאתה מעדיף את הפשטות של פיצולים בינאריים.
  • (FLT:0)Choose CHAID כאשר:FLT:1hav העניין העיקרי שלך הוא לחקור יחסים בין משתנים קטגוריים, אתה צריך עץ מוצדק סטטיסטית, או שאתה רוצה מיזוג אוטומטי של קטגוריות כדי להפחית את המימדליות.

זה גם שווה בהתחשב במסחר בין גודל עץ ודיוק. C4.5 ו- CART לעתים קרובות לייצר עצים עמוקים יותר שעשויים לדרוש גינון זהיר, בעוד ששלטון הפסקת האש מבוסס על חשיבותו של CHAID נוטה להניב עצים רדודים.אם משאבים חישוביים מוגבלים, CART הוא בדרך כלל מהיר יותר מ C4.5 עבור נתונים מספריים גדולים מאוד.

שיקולים מעשיים

כל שלושת האלגוריתמים זמינים בכלי כריית נתונים פופולריים וספריות תכנות.C4.5 ייושמו ב- Weka (כמו J48), בעוד CART זמין ב- R (חבילה), Python (Scikit-learne Classifier עם ברירת מחדל Gini), ופלטפורמות רבות אחרות. CHAID הוא מיושם ב- SPSS וב-R (חבילת R (CHAID) בעת יישום מודלים אלה, שימו לב ל-peractsperspersmeters: 4.5 for alimates, כדי להעריך את גודל הבקרה המינימלית; מדדים;

מסקנה

C4.5, CART ו- CHAID מציעים יתרונות ייחודיים לבניית מודלים עץ.C4.5 מצטיין עם יחס רווח המידע שלו, היכולת להתמודד עם נתונים רצופים וחסרים, ועומס מבוסס שגיאות מספק מסגרת עץ בינארית חזקה עם תנודות Gini ועלויות מורכבות של נתונים, המאפשרת זיהוי אלגוריתם ומשימות תגמול.