עצי ההחלטות הם בין האלגוריתמים האינטואיטיביים והנפוצים ביותר של למידת מכונה, אשר זכו לשקיפות ולקלות הפרשנות שלהם.בין אם הם חלים על שיטות סיווג או מחויבויות של מכונות, מודלים אלה שוברים החלטות לסדרת כללים פשוטים אם כך שמצביעים על חשיבה אנושית.זה מאפשר לעצי החלטה מרובים של בדיקה בלתי מבוקרת של נתונים, ולמען תחומים שבהם הסבירות מודל הוא רב ערך – כגון בריאות, חוקי, וציות, כך שגורם לעצימה לעצימה לעצימה לעצימה גבוהה יותר.

מה זה Cross-Validation?

Cross-validation הוא הליך resampling המשמש להעריך את היכולת של מודל למידת מכונה כדי להכללת נתונים עצמאיות במקום להסתמך על פיצול יחיד רכבת, cross-validation מחלק את הנתונים לכמה תת-קרקעיים משלימים, הנקראים גם קפקאות.המודל מאומנים על שילוב של כל פרט אחד, ולאחר מכן נבדק על תהליך ה-קפלקרדוסה שנותר הוא חזרות רבות, כל בדיקה יעילה יותר, כאשר הוא מנבאת של כל אחד, הוא רק על ידי בדיקת דיוק, הוא בדיוק על ידי בדיקת תפקוד קבוע.

היסטורית, סיביעה חוצה את הצורך להעריך ביצועי מודל ללא איסוף נתונים.הגרסה הפשוטה ביותר, אימות עיקול, יוצאת בצד חלק קבוע של הנתונים עבור בדיקות.עם זאת, התחזוקה יכולה לייצר הערכות שונות גבוהות שתלויות במידה רבה על אילו דגימות ספציפיות אדמה במערך הבדיקה.קרוס-הסתנן מקטין את זה על ידי שילוב של מספר רב של פיצולים.

מדוע עץ ההחלטות נוטה להחליפם

התאמה מתרחשת כאשר מודל לומד את נתוני האימון גם כן, כולל רעשים ומצליחים, על חשבון לכידת המגמה הכללית.עצי ההחלטות פגיעים במיוחד להתאמה של מספר סיבות.ראשון, הם יכולים לגדול לכל עומק, פיצול הנתונים עד שכל עלה מכיל רק תצפית אחת או טהור לחלוטין.

שקול עץ החלטה המאומנים על בסיס נתונים קטן עם 100 דגימות ותכונות רבות.אם העץ גדל ל-50 עלים, כל עלה עשוי להכיל רק כמה דגימות.על מערכת האימונים, העץ יהיה להשיג דיוק כמעט מושלם כי זה בעצם מזכר כל דגימה.אבל, כאשר מוצג עם נתונים חדשים, העץ יבצע רע כי הדפוסים הספציפיים שהוא למד אינם כוללים באופן כללי, ריצוף זה מראה על ידי דיוק גבוה זה, ולכן ניתן לפשט את הציון של מערכת אימונים נמוכה יותר מאשר ירידה דרמטית, כך, כך, כך ניתן יהיה לרשום את הציון של מערכת אימונים נמוכה יותר מאשר את הציון הממוצע.

התפקיד של Cross-Validation ב- Model Selection and Hyperparameter Tuning

מעבר להערכה פשוטה, cross-validation ממלא תפקיד מרכזי בבחירת מודלים ואופטימיזציה היפר-פרפרפרמטר.כאשר בניית עץ החלטה, עליך לבחור היפר-פרפרמטרים כגון עומק מקסימלי, המספר המינימלי של דגימות הנדרש כדי לחלק את הצומת הפנימי, ואת דגימות המינימום עבור עלון.הבחירות האלה לשלוט ישירות המורכבות של המודל ונטייתו להתאמה.

קרוס-אלידה עוזרת גם בהשוואת מודלים שונים, כגון עץ החלטות עמוק מול עץ מחוספס, או עץ החלטה מול יער אקראי.על ידי הערכה של כל מודל באמצעות אותו הליך חוצה-הכלל, אתה מקבל השוואה תפוחים-ל-ל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-אל-המידה שמהווה את המודל של השחלורידיות, אלא את השגיאה, לפי השגיאה-המודל, עם ביצועים יציבים, אלא את השגיאה-המידה-החליפידה-התוצאה-החליפידה-הטיפוס-החליפ-הטיפוס-החליפידה-החליפ-החליפידה-הטיפוס, אלא רק באמצעות דיוק-החלורידציה, אלא את ה-החליפידה-החלורידציה, את ה-החליפידה-החליפידה-החליפ-החליפידה-הטיפוס

שיטות של Cross-Validation

קיימות מספר טכניקות של גלגול צלב, כל אחת עם כוחות משלה וחילופי מסחר.הבחירה תלויה בגודל של תחילת הנתונים, בסוג הבעיה ובתקציב חישובי.כאן אנו מכסים את השיטות הרלוונטיות ביותר להערכת עץ ההחלטות.

צלב ק"ד - Validation

(ב) ב[[1924]], [[1924]], [[1924]]]], [[1924]]]], [[1924]]]], [[1924]]]], [[1924]]]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]], [[1924]]]], [[1924]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]], [[1924]], [[1924]], [[1924]], [[1924]]]]]], [[1924]], [[1924]], [[1924]]]]]], [[1924]], [[1924]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]] ב[[1924]], [[

סיקור: K-Fold Cross-Validation

סטנדרטי c-fold cross-validation עשוי לייצר קפלים עם התפלגות מעמד לא מאוזנים, במיוחד כאשר משתנה היעד הוא נדיר.אם אחד מתקפל ללא דגימות ממעמד מיעוט, הביצועים של המודל על זה יכול להיות מטעה. ptified k-fold c-validation כתובות זה על ידי שמירה על אחוז הדגימות עבור כל מחלקה בכל קפל.

Leave-One-Out Cross-Validation (LOOCV)

LOOCV הוא מקרה קיצוני של ריצוף כפול שבו (FLT:0kuaFLT) 1 {\displaystyle 1 {\displaystyle \ \ \"ל} הוא לעתים רחוקות מספר הדגימות ב- 10.כל דגימה משמשת כמבחן יחיד, בעוד הדגימות הנותרים הן רק דוגמאות של בדיקות מחזוריות (LOOCV) הן יקרות ערך חישוביות, כי הוא דורש הכשרה כמו הרבה מודלים כמו שישנן, עבור עצים, אשר הם יחסית מהיר, 000 בדיקות בינוניות, כמעט כל אחד, כי הוא כמעט כל אחד, רק כדי להשתמש ב-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-C הוא כמעט-או-או-או-קל, כמעט-קל, כמעט כל מודל קטן הוא כמעט-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או-או

הקודם K-Fold Cross-Validation

חוזר על תהליך קלוש חוזר על תהליך ה- k-fold פעמים רבות, בכל פעם עם פיצולים אקראיים שונים של הנתונים ל-Cפלקים. זה עוד מקטין את השחלות בערכת הביצועים.לדוגמה, אתה יכול לבצע חמש פעמים עלות כפולה חוזרת על פני 3 פעמים, וכתוצאה מכך 15 הערכות.המדד הסופי הוא הממוצע בכל חזרות.

אימות הולדן נגד הצלב-ההתמדה

אימות הולט, שבו הנתונים מחולקים פעם לתוך מערכת אימונים ומבחן (למשל, 80/20), הוא פשוט ומהיר יותר אבל סובל מחליפה גבוהה.ערכת הביצועים תלויה במידה רבה באיזו דגימות אדמה בקביעת הבדיקה. עבור עצי החלטה, חסימה אחת עשויה להיות גבוהה מדי או מזלזלת בביצועים ראשוניים, המוביל להחלטות מודל גרועות.

יישום צלב-ויאלדציה: מדריך מעשי

(הופנה מהדף הספריות של מכונות מספקות תמיכה מובנה במקריות צלב-הכללה (בפייתון), הספרייה (FLT:0 Library) היא תקן דה- Facto עבור דגמי עץ-הדין (FLT:1) הפונקציה משנה את תהליך הפיצול, ההכשרה והניקוד (למשל, פרמטרים) של LT:2, את הנתונים, את מספר ה-Facquas, ואת מספר ה-D) של רצף של 5 (החזרות) באופן אוטומטי, לדוגמה, לדוגמה, את ה-FD).

כאשר יישום של תהלוכה לעצי החלטות, שימו לב לעיבוד הנתונים.כל שינוי שלמד פרמטרים מהמידע, כגון דרוג או סיבולת, יש לבצע בתוך כל מתקפל אימון כדי למנוע דליפות נתונים.עבור עצי החלטות, קנה הוא בדרך כלל מיותר כי עצים נמצאים בחלופה כדי לעבור שינויים חד-זמניים, אבל אחד-חם של מתקפלים קטגוריים חייב להיעשות באופן עקבי על פני השטח של LTF: 9 צעדים לפני אימון רגיל, כדי להבטיח את השלבים הבאים למעבדים.

מלכודות נפוצות ועיסוקים טובים

בעוד שעקביות הצלב היא כלי רב עוצמה, יש ליישם נכון.טעות נפוצה אחת היא באמצעות cross-validation עבור בחירת תכונה לפני הערכת המודל.אם אתה בוחר תכונות המבוססות על כל הנתונים הסטה, אתה מדליף מידע מקבוצת הבדיקה, המוביל למעלית ביצועים אופטימיים יותר מדי, בחירת תכונה חייבת להתבצע בתוך הלולאהה צלב-הרס, רק באמצעות ה-Flatate מפולציה אחרת, עלולה להתעלם מהציון הני של אפקט החיתוך של אפקט החיתוך של אפקט החיתוך של אפקט החיתוך, או לא יציב.

(ה) ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]], [[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]], [[1924]], [[[[1924]]]]]]]], [[[[1924]]]]]], [[[[1924]]]]]]]]]]]]]]]]]], [[

עוד תרגול טוב יותר הוא להשתמש בהגדרה בין מודלים לבדיקות משמעות סטטיסטית.גם אם לדגם A יש ציון גבוה יותר מ- Model B, ההבדל עשוי להיות בשל הזדמנות. השתמש ב- t-tested המתוקן או ב- Wilcoxon חתם-rank-rank test כדי לקבוע אם ההבדל הוא משמעותי.

לבסוף, זכור כי cross-validation אינו panacea. זה מעריך את הביצועים של נתונים שנאספו מאותה הפצה כמו נתוני האימון.אם נתוני הפריסה הם מהתפלגות שונה (שינוי חלוקת), הגשמה חוצה לא יחשפו כי.במקרים כאלה, אתה צריך אימות נוסף על נתונים המייצגים את התחום המטרה.

Cross-Validation in the Context of Decision Tree Ensembles

עצים הם לעתים קרובות משמשים כמו הלומדים הבסיס בשיטות הרכב כגון יערות אקראיים ו ⁇ שיפור. בעוד האנסמבלים להפחית את התוספת בהשוואה לעץ יחיד, validation נשאר חשוב עבור כוונון היפרפרמטרים (מספר העצים, עומק מקסימלי, שיעור הלמידה, וכו ') עבור יערות אקראיים, cross-idation מסייע לקבוע את המספר האופטימלי של תכונות נחשב לכל פיצול (LTGates), עבור מספר יעיל של ריצוף, גם כדי למנוע את זהה, אפילו לא מבוטל של קידודים.

מסקנה

(הפסקה) היא כלי חיוני להערכת מודלים של עץ ההחלטות.היכולת שלו לספק הערכה של מגפיים חזקים, נמוכה של ביצועי מודל מסייעת לזהות יעילות, מדריכים היפרפרמטר כוונון, ותומכת בבחירה מודל מיודעת (בין אם אתה משתמש ב-5 שיטות בדיקה) של אסטמנטאליות (Creditoptified) ו-Drevenation) על מנת להפחית את רמת הפחתת ההשפעה של מידע זההרחבה על ידי מערכת ההפעלה, או על ידי שימוש ב-DVal-Firevalation (D) באופן משמעותי, או ב-Firevalation) על ידי שימוש ב-Firelimate Data (Dance) על ידי LT) על ידי .