Mutual information - статистичний вимір, який використовується для оцінки залежності між двома змінними. У вибірці функцій він допомагає визначити функції, які мають найбільш актуальні відомості про цільову змінну. Цей метод широко використовується в машинному навчанні для поліпшення продуктивності моделі, вибравши найбільш інформативні функції.

Що таке Mutual Information?

Умовна інформація означають кількість інформації, отриманих про одну випадкову змінну через іншу. Вона затримує зменшення невизначеності однієї змінної, враховуючи знання інших. Більша взаємна інформація вказує на більш високу залежність між змінними.

Розрахунок інформації про міту

Розрахунок передбачає розподіл ймовірностей змінних. Формула заснована на розподілі ймовірностей суглобів і розподілі індивідуальної ймовірності змінних. Загальна формула полягає в:

I(X;Y) = Σ δ p(x,y) журнал (p(x,y) / (p(x) p(y))))

Де:

  • p(x,y)] - це спільна ймовірність X і Y
  • p(x)]p(y)]] - це граничні можливості

Застосування в вибірці функцій

У виборі функцій взаємовідносини, що дозволяє визначити, які функції найбільш актуальні для цільової мінливості. Особливості з вищими показниками взаємної інформації розглядаються більш інформативними та передовішими для моделювання. Цей процес зменшує розмірність та покращує ефективність моделі.

Загальні методи включають розрахунок взаємовідносин між кожними функціями та метою, після чого виберіть найбільші функції на основі показників. Цей підхід особливо корисний для обробки високовимірних даних.