Calcularea câştigului informaţiei este un pas fundamental în construirea arborilor de decizie. Aceasta ajută la determinarea celei mai bune caracteristici de a împărţi datele la fiecare nod, îmbunătăţind precizia modelului. Acest proces implică măsurarea reducerii entropiei după ce un set de date este împărţit pe baza unui atribut specific.

Înțelegerea entropiei

Entropia măsoară tulburarea sau impuritatea într-un set de date. Se calculează utilizând probabilitatea fiecărei clase din cadrul setului de date. Un set de date cu clase mixte are o entropie mai mare, în timp ce un set de date pur are o entropie mai mică.

Formula pentru entropie este:

Entropia = -

Calcularea câștigului de informații

Câștigarea informațiilor este diferența dintre entropia setului original și entropia medie ponderată după o divizare. Cuantifică cât de mult incertitudine este redusă prin partiționarea datelor bazate pe o caracteristică.

Formula pentru câștigul de informații este:

Gain de informații = entropie (părinte) -

Etape practice de calcul

Pentru a calcula câştigul informaţiei în practică, urmaţi următoarele etape:

  • Calculează entropia întregului set de date.
  • Partiția setului de date bazat pe funcția evaluată.
  • Calculați entropia pentru fiecare subset creat de divizare.
  • Calculează media ponderată a acestor entropii.
  • Scădeţi această valoare din entropia originală pentru a găsi câştigul informaţiei.

Exemplu

Să presupunem că un set de date are o entropie inițială de 0,94. După divizare pe baza unei caracteristici, entropie medie ponderată a subseturilor este de 0,5. Câștigarea informațiilor din această divizare este de 0,44, indicând o reducere semnificativă a incertitudinii.