הבנה וחשיבה של מידע הדדי לבחירה

מידע הדדי הוא מדד סטטיסטי המשמש להערכת התלות בין שני משתנים.בבחירה תכונה, זה עוזר לזהות תכונות שיש להם את המידע הרלוונטי ביותר על משתנה המטרה. שיטה זו משמשת באופן נרחב ללמידה מכונה כדי לשפר את ביצועי המודל על ידי בחירת התכונות המודיעיניות ביותר.

מה זה מידע הדדי?

מידע הדדי משווה את כמות המידע המתקבל על משתנה אקראי אחד דרך אחר.זה מודד את ההפחתה באי הוודאות של משתנה אחד בהתחשב בידע של האחר.ערך מידע הדדי גבוה יותר מצביע על תלות חזקה יותר בין המשתנים.

חישוב מידע הדדי

החישוב כולל התפלגות הסתברות של המשתנים.הנוסה מבוססת על חלוקת ההסתברות המשותפת והתפלגות ההסתברות הבודדת של המשתנים.הנוסה הכללית היא:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

איפה:

יישום בחירת תכונות

בבחירה תכונה, מידע הדדי עוזר לקבוע אילו תכונות רלוונטיות ביותר למשתנה היעד.תכונות עם ציוני מידע משותפים גבוהים יותר נחשבות יותר אינפורמטיביות והם מועדים לאימון מודל.תהליך זה מקטין את המימדליות ומשפר את יעילות המודל.

שיטות נפוצות כוללות חישוב מידע הדדי בין כל תכונה למטרה, ולאחר מכן בחירת התכונות המובילות על בסיס הציונים. גישה זו היא שימושית במיוחד לטיפול בנתונים עתירי משקל גבוהים.