Розрахунок збільшення кількості інформації є фундаментальним кроком у побудові рішень дерев. Це допомагає визначити найкращу функцію для розщеплення даних в кожному вузол, поліпшення точності моделі. Цей процес передбачає вимірювання зменшення ентропії після розщеплення даних на основі специфічного атрибуту.

Розуміння ентропії

Ентропія запускає порушення або домішки в даних. Розраховується за допомогою ймовірності кожного класу в межах даних. За допомогою змішаних класів має більш високу ентропію, при цьому чистий замінник має меншу ентропію.

Формула для ентропії:

]Entropy = - верстка 2] pi]

Розрахунок інформації про зміну

Приріст інформації є відмінністю ентропії оригінального набору даних і середньою антропією, що вагової маси після розщеплення. Квантіфікує, скільки невизначеності знижується шляхом розділення даних на основі функції.

Формула для отримання інформації:

Інформаційна Gain = Ентропія (парент) - довідка (вага дитини) × Ентропія (зварювальник)

Практичні розрахунки

Щоб комп’ютерно зрозуміли, що на практиці слідувати цими кроками:

  • Розрахунок ентропії всієї заміської частини даних.
  • Включення даних, що засвідчує особу, на основі яких визначено функцію.
  • Розрахунок ентропії для кожного субсету, створеного розщепленням.
  • Зробіть ваговий серед них ентропії.
  • Відстежуйте цю цінність з оригінальної ентропії, щоб знайти набуту інформації.

Приклад

Надаючи дані, що містять початкову ентропію 0.94. Після розщеплення на основі функції, вагова середня ентропія субсидів становить 0,5. Отримання інформації з цього розщеплення становить 0,44, що свідчить про значне зменшення невизначеності.