הבנת התפקיד של אנטרופיה יצירת עץ החלטות

מבוא: עץ החלטות וצורך לטוהר

עצי ההחלטות הם אחד האלגוריתמים האינטואיטיביים והנפוחים ביותר ללמידה של מכונות.הם מהווים החלטות מודל כמבנה עץ, שבו צמתים פנימיים מייצגים בדיקות על תכונות, סניפים מייצגים תוצאות של בדיקות אלה, ועלים צומת מייצגים תחזיות סופיות.אם אתה מסווג אם דוא"ל הוא ספאם או צופה מחירי בית, עצי החלטה מציעים גישה שקופה, אנושית.

האתגר המרכזי בבניית עץ החלטה הוא להחליט על הערך המפוצל:0 (WhereFLT) 1:1 כדי לחלק את הנתונים בכל צומת.האלגוריתם חייב לבחור את התכונה והפיצול אשר הטוב ביותר מפריד בין המעמדות המטרה.זה המקום שבו FLT:2entropyFLT 3: 3 מגיע. Entropy, שנלקח מתיאורית מידע, מספק מדד מתמטי של אי ודאות או אי-תזונה במקרים של פחות יעילים, על ידי איסוף נתונים מדויקים יותר ויותר.

מה זה Entropy? A Measure of Disorder

בשפה היומיומית, אנטרופי מתייחס אקראיות או כאוס. בהקשר של עצי ההחלטות, entropy משווה את כמות חוסר יכולתה בנקודת נתונים ביחס למשתנה היעד.אם כל הדוגמאות בצומת שייכות לאותו מעמד, הצומת הוא FLT:0pureFalph:1 ו entropy שלו הוא אפס.

עבור בעיה סיווג בינארי (למשל, חיובי לעומת שלילי), אנטרופיה מוגדרת כ:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

כאשר p+ הוא שיעור הדוגמאות החיוביות ו- p- 1- p + בסיס לונאריתם 2 משמש כי מידע ב bits נמדד בינארי. כאשר יש יותר משני שיעורים, הנוסחה הכללית:

הערך המתקבל נע בין 0 (בחינם טהור) ל- log2(k) לשיעורי k (מקסימום נחיתות) עבור מקרה בינארי, אנטרופיה מקסימלית היא 1.0 כאשר p + = p- = 0.5.

דוגמה מהירה

שקול את תחילתו של 10 דגימות עם 5 חיובי ו 5 שלילי. אנטרופי = -0.5 log2(0.5) - 0.5 log2(0.5) = -0.5 * (-1) - 0.5 * = 0.5 + 0.5=0 = 1.0=1.0.עכשיו לשקול את תחילת הנתונים עם 9 חיובי ו 1 שלילי: אנטרופי = 0.9(0.9) - log2(0.1) = 0.5 + 0.5=0.0.0.

למה בסיס 2?

הבחירה של בסיס 2 מושרשת בתיאוריה של המידע של קלוד שאנון. A bit היא יחידת המידע הבסיסית, המייצגת בחירה בינארית.שימוש בבסיס 2 פירושו entropy נותן את המספר הממוצע של ביטים הדרושים כדי לפענח את שיעור של מדגם אקראי.אם אתה כבר יודע את ההפצה, אנטרופיה נמוכה יותר פירושו פחות סיביות נדרשים לתקשר את התוצאה.

מידע על: כיצד מדריכים אנטרופיים מתחלקים

פשוט חישוב אנטרופיה לא מספיק; המטרה היא ל-FLT:0 [reduceofLT:1] זה לאחר פיצול.השגת מידע (IG) מודד את ההפחתה הצפויה ב- entropy הנגרמת על ידי חלוקת הנתונים על פי תכונה.

הנוסחה לקבלת מידע היא:

(ב) ⁇ (ב) ⁇ (ב) ⁇ (ב) ⁇ (ב)

כאשר S הוא ה-FDA, Si הם הילדים תת-קרקעיים לאחר הפיצול, ו- .............................................

דוגמה עובדתית

דמיינו את ההורות עם 30 דגימות: 16 כיתה א ו 14 בכיתה B. Entropy(הורה) = - יומן VA /30) 2 VA /30) - (14 /30) log2 /30) ⁇ 0.996.

עכשיו לשקול פיצול על תכונה X שיוצר שני ילדים: ל- Child1 יש 20 דגימות (15 A, 5 B) entropy = -0.75 log2(0.75) - 0.25 log2(0.25) ⁇ 0.811; ל- Child2 יש 10 דגימות (1, 9 B) entropy=0.0.12(0.1) - 0.92(0. ⁇ 0.497 = 0.0.0*0*0*0.

אם פיצול אחר מניב IG גבוה יותר, התפצלה זו המועדפת.האלגוריתם מעריך את כל התכונות ואת סף פיצול אפשרי למצוא את הטוב ביותר.

מגבלות של קבלת מידע

(ה) רווח נוטה לטובת תכונות עם ערכים רבים נפרדים (למשל, עמודה מזהה ייחודי) כי פיצול תכונה זו יוצר ילדים טהורים רבים, מניב IG גבוה, זה יכול להוביל להתאמה יתר של זה, גרסאות כמו FLT:0Gain RatioFLT:1 (ששימוש ב C4.5) לנרמל את IG על ידי המידע הפנימי של הגישה המפולגת לעתים קרובות יותר:

השוואת Entropy עם Gini Impurity

אי הסתברות של קריטריון פיצול חלופי המשמש באלגוריתם CART (Classification ו-Regression Trees) זה מודד את ההסתברות של חיקוי מדגם שנבחר באופן אקראי אם הוא היה מסומן באופן אקראי על פי החלוקה המעמדית בצומת.

במקרה בינארי, גיני = 2p+ (1 - p +) מקסימום Gini הוא 0.5 (שיעורים מאוזנים) ומינימום הוא 0 (pure).

גם חוסר הטרופיה וגם Gini הם פונקציות convex, כלומר הם מתנהגים באופן דומה בפועל.הבחירה ביניהם לעתים קרובות מגיעה יעילות חישובית: Gini אינה דורשת גליתמים, כך שזה יכול להיות מעט מהר יותר. עם זאת, אנטרופיה יש הצדקה חזקה יותר מידע-תיאורטית. רבות, כולל ספרות רבות, כולל פיסול-learnt-learnt-learn, אתה יכול לבחור; באופן אמפירי, הבדלים הם קטנים.

Entropy in Regression Trees

עצי ההחלטות יכולים גם לפתור בעיות רגרסיה (הדגשה על ערכים רצופים) בתוקפנות, אנטרופיה אינה מתאימה משום שההמטרה אינה קטגורית.במקום, האלגוריתם משתמש ב-FLT:0varianceductionFLT:1 או שמשמעותה שגיאה מרובעת (MSE) כקריטריון הפיצול.

לחזרה (ב) ניתן לקרוא ל[[המאה ה-20]], [[המאה ה-20]], [[1924]], [[1924]], [[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]]]], [[1924]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]

בניית עץ החלטה שלם: משורש לעליון

עכשיו כשאנחנו מבינים את ה-Atropy ו-CART, בואו נלך דרך האופן שבו אלגוריתם למידה עץ ההחלטות הטיפוסי (כמו מזהה 3, C4.5 או CART) בונה עץ:

(ב) בפרשת ה[[1924]], [[1924]], [[1924]]]]
(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) לכל תכונה:0 (ב) [ה], להעריך כל נקודת חלוקה אפשרית (לתכונות מספריות, ערכי מין ולבחון את נקודות האמצע בין ערכים נפרדים רצופים; לתכונות קטגוריות, לשקול תת-קרקעיות או טבילה אחת).
(ב) ,0) , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ,0) בחרו את הפיצול של ה- 1:1, אשר מביא את הרווח הגבוה ביותר.
(ב) ,0 חלק מהמידע של ה- 1 (ב) וצעדים חוזרים על עצמם באופן חוזר על 2-5 לכל ילד.
(ב) §0) ביטול הקריטריונים של קריטריונים (FLT:1) למנוע צמיחה אינסופית: עומק מקסימלי, דגימות מינימום עלה, ירידה מינימלית של נחיתות, או כאשר כל הדגימות בצומת שייכות לשיעור אחד.
(FLT:0)PruneofLT:1 העץ (או לפני אימון דרך היפרפרפרפרמטר או לאחר אימון על ידי חיתוך ענפים אחוריים שאינם משפרים ביצועים על סט אימות) כדי להילחם על פני התאמה.

תכונות קטיות ונומריות

פיצול מבוסס אנטרופי פועל עבור שני סוגי תכונות, אבל הגישה שונה:

(FLT:0) תכונות אנמרניותFLT:1: האלגוריתם מזין ערכים ייחודיים ומבחנים כל סף אפשרי.
(FLT:0) תכונות תיאורטיות של FLT:1: עבור פיצולים בינאריים, האלגוריתם עשוי לשקול קבוצות לשתי תת-קרקעיות.עבור פיצולים רב-דרכים (כמו בזיהוי 3), כל קטגוריה הופכת ענף.עם זאת, ריבוי-דרכים מחלק נתונים במהירות והם נוטים לעקוף, ולכן רוב המימושים המודרניים משתמשים בפיצולים אפילו עבור תכונות קטגוריות.

ערכים חסרים

נתונים בעולם האמיתי מכילים לעתים קרובות ערכים חסרים.עצים החלטות יכולים לטפל בהם בכמה דרכים:

(ב) ,0) תפצלו מפולגת 1: כאשר פיצול על תכונה, תכונה גיבוי כי מיטב מחקה את הפיצול משמש לדגימות החסרות את התכונה העיקרית.
(ב) [15] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ויקרא י"א: "ה', ויקרא י': "ה', ויקרא י'" (בראשית כ"ד, ט).

ספריות רבות, כגון פיסול-לימוד, אינן מטפלות בערכים החסרים מבפנים ומצפות שהן יוטלו לפני כן. XGBoost ו- LightGBM, עם זאת, לומדות את הכיוון הטוב ביותר לערכים החסרים במהלך האימון.

overfitting ו-Pruning

עץ החלטות שגדל לעומק מקסימלי יזכיר באופן מושלם את נתוני האימון, כולל רעש, המוביל להכללה גרועה.הפחתת אנטרופיה ממשיכה עד שכל עלה טהור, אך רק לעתים רחוקות זה מועיל לביצועי מבחן.

מועד (Early Stopping)

לעצור את צמיחת העץ לפני שהוא מתאים על ידי החלת מגבלות: להגביל את העומק המקסימלי, דורש מספר מינימלי של דגימות עלון, או דורש הפחתה מינימלית של אי-שקט (למשל, ירידה אנטרופית חייבת להיות > 0.01).

פוסט-פרקינג (Cost-Complexity Pruning)

גדל העץ במלואו, ולאחר מכן להסיר סניפי להוסיף ערך קטן.האלגוריתם רואה מסחר בין מורכבות עץ (מספר העלים) וטעיית אימון. פרמטר מורכבות (alpha) מעניש עלים נוספים.

שתי טכניקות אימוניות מסייעות להבטיח כי פיצולים מונעים אנטרופיים אינם מלוכלכים מדי וכי העץ נותר פרשן תוך כדי הכללה.

Entropy ב Ensemble Methods

בעוד עץ החלטה יחיד יכול להיות לא יציב (שינויים קטנים בנתונים יכולים לגרום לעץ שונה מאוד), אנטרופיה נותרה מושג יסוד בשיטות הרכב:

(FLT:0 andom ForestsFLT:1): לבנות עצים רבים באמצעות דגימות מפוספסת מגפיים ותכונות אקראיות.כל עץ בדרך כלל משתמש אנטרופיה או גיני כדי לחלק.
(ב) ⁇ :0) ,Gradient BoostingFLT:1: עצים בנויים באופן שווה לתקן שגיאות של עצים קודמים. אנטרופיה משמשת כהמטרה (באמצעות אובדן חוצה-נחמי) עבור יערות סיווג בספריות כמו XGBoost.

הבנת האנטרופיה מסייעת לפרש מדוע פיצול מסוים נבחר בכל עץ אינדיבידואלי, חיוני לדגימה מודל ואנליזה חשובה.

שיקולים מעשיים כאשר משתמשים ב-Entropy

ראשית, קידוד compute באמצעות גליתמים בזהירות - להימנע מהלוגים הלא מוגדרים (0) על ידי הגדרת 0 log2(0) כ-0.II, להיות מודע לכך ש חישובים אנטרופיים רגישים לחוסר איזון מעמדי; צומת עם 99% מעמד אחד ו-1% אחר יש אנטרופיה נמוכה, אך לא יכול להצביע על פיצול טוב אם המעמד המיעוט חשוב.במקרה זה, שיעורי משקל או באמצעות מדדים חלופיים (למשל, Fg, מומלץ להערכה.

כמו כן, עצי ההחלטות עם אנטרופיה יכולים להיות רגישים לזיכרון עבור נתונים גדולים כי הם מעריכים את כל התכונות ואת נקודות מפוצלים. Libraries להשתמש אלגוריתמים כמו FLT:0sort-and-scantureFLT:1 כדי למקם את entropy עבור תכונות מספריות ב O(n di n) זמן.

אזכורים חיצוניים לקריאה עמוקה יותר:

(ב) ,0) עץ הדעת לומד על ויקיפדיה
(ב) ,0) ,9ikit-learnance tree recordFreaLT 1
(FLT:0)Directus: The Open-sourceless CMSigFLT) 1 (לדוגמה ניהול נתונים ותמיכה בהחלטות)

מעבר להגדרה: Entropy and Information מקבל ב-Adobe

אנטרופיה אינה רק בשימוש בעצי החלטות - היא גם מבססת טכניקות בחירה.FLT:0 Mutual Elementve מידע 1 בין תכונה והמטרה קשורה ישירות לרווח מידע.You יכול לדרג תכונות על ידי המידע המשותף שלהם כדי להפחית את המימדליות לפני אימון מודלים אחרים.

לדוגמה, אם ל- X יש מידע הדדי גבוה עם המטרה Y, אז לדעת X באופן משמעותי להפחית את אי הוודאות לגבי Y. זה בדיוק ההפחתה של אנטרופיה שהושגה על ידי פיצול X. Libraries כמו scikit-learn לספק FLT:2 ו-FLT 3: 3.

הגבלות על עץ ההחלטות מבוסס אנטרופי

למרות כוחם, עצי ההחלטות שנבנו עם אנטרופיה יש כמה חסרונות:

(ב) ⁇ :0) ,InstabilityFLT:1: וריאציות קטנות של נתונים יכולות לשנות באופן דרסטי את מבנה העץ.
(FLT:0Bias כלפי תכונות עם רמות רבות של LT:1; רווח מידע מעדיף תכונות בעלות גבוהה של כרטיסיות.קבל יחס או שימוש רק בפיצול בינארי עוזר.
(ב) (ב) ,0) טיפול במבנה התוספים: עצים הם מודלים קבועים, ולכן הם נאבקים ללמוד מערכות יחסים ליניאריות.
(ב) [15] , אלגוריתם הופך לפיצול אופטימלי מקומי, אשר עשוי להיות לא אופטימלי בעולם.

בפועל, שילוב עצי החלטות מבוסס אנטרופי עם כוונון היפר-פרפרמטר הנכון ושיטות הרכב מניב מודלים חזקים עבור רבים מסדי נתונים לשוניים.

מסקנה: Entropy as a Foundation for Insightful פיצולs

אנטרופיה מספקת דרך עקרונית, מידע-תיאורטית להעריך את איכות התפצל כאשר בונים עץ החלטה.על ידי מדידה של ההפרעה בנקודת נתונים ומטרתה להפחית אותה בכל שלב, אנו יכולים לבנות עצים ביעילות ובמדוייק את המרחב המאפיין.אם אתה מכונת למידה של התלמיד או מודל של פיתוח, הבנה מעמיקת את התפיסה של איך עצים חושבים "הוא גם מחבר מידע משותף, כולל מידע דחיסה משותפת, או אפילו דחיסה משותפת, או ניתוח מודלים, או ניתוח מודלים, הבנה של מודלים, הבנה, הבנה מעמיקה יותר, הבנה מעמיקה של מודלים, הבנה מעמיקה של מידע.

כפי שאתה מחיל עצי החלטה, זכור כי אנטרופיה היא כלי - לא סוף. Pair זה עם אימות הולם, ריצה, וטכניקות הרכב כדי לפתוח את מלוא הפוטנציאל שלה. ואם אתה מנהל צינורות נתונים ללמידה מכונה, כלים כמו Directus יכול לעזור לך לאסוף, לארגן, לשרת את הנתונים באיכות גבוהה כי עצי ההחלטות תלויים.