Τα ανισορροπημένα δεδομένα είναι μια κοινή πρόκληση στη μάθηση μηχανών, όπου μια τάξη ξεπερνά σημαντικά τους αριθμούς άλλων. Αυτή η ανισορροπία μπορεί να οδηγήσει σε προκατειλημμένα μοντέλα που αποδίδουν ελάχιστα στις τάξεις μειοψηφίας. Οι τεχνικές της μάθησης με ευαισθησία στο κόστος αντιμετωπίζουν αυτό το ζήτημα με την ανάθεση διαφορετικών δαπανών σε λάθος ταξινομήσεις, βοηθώντας τα μοντέλα να επικεντρωθούν σε τάξεις μειοψηφίας.

Κατανόηση ανισορροπημένων δεδομένων

Ανισορροπημένα σύνολα δεδομένων συμβαίνουν σε διάφορα πεδία όπως η ανίχνευση απάτης, η ιατρική διάγνωση και το φιλτράρισμα spam. Σε αυτές τις περιπτώσεις, η κατηγορία μειοψηφίας είναι συχνά πιο σημαντική αλλά λιγότερο εκπροσωπείται.

Τεχνικές μάθησης με ευαισθησία στο κόστος

Η οικονομική-ευαίσθητη μάθηση περιλαμβάνει την τροποποίηση της διαδικασίας μάθησης για να λογοδοτήσει για διαφορετικά έξοδα λανθασμένης ταξινόμησης. Με την ανάθεση υψηλότερου κόστους σε λάθη σε κατηγορίες μειοψηφίας, τα μοντέλα γίνονται πιο ευαίσθητα σε αυτές τις κατηγορίες, βελτιώνοντας τη συνολική απόδοση.

Κοινές προσεγγίσεις

  • Βασικοί αλγόριθμοι: Ενσωματώστε βάρη κλάσης στη λειτουργία απώλειας για να τιμωρήσετε την εσφαλμένη ταξινόμηση των μειονοτικών κατηγοριών σε μεγαλύτερο βαθμό.
  • Γραμμές κόστου: Καθορίστε μια μήτρα που προσδιορίζει το κόστος κάθε τύπου λανθασμένης ταξινόμησης, καθοδηγώντας το μοντέλο για να ελαχιστοποιήσει το συνολικό κόστος.
  • Τεχνικές δειγματοληψίας: Συνδυάστε τις μεθόδους που είναι ευαίσθητες στο κόστος με την υπερδειγματοληπτική ή υποδειγματοληπτική μέτρηση για την εξισορρόπηση του συνόλου δεδομένων.