Η υπερβολική προσαρμογή συμβαίνει όταν ένα μοντέλο βαθιάς μάθησης μαθαίνει τα δεδομένα κατάρτισης πολύ καλά, συμπεριλαμβανομένου του θορύβου και των απωλειών, που μειώνει την ικανότητά του να γενικεύει σε νέα δεδομένα.

Κατανόηση Υπερταχύτητας

Η υπερβολική προσαρμογή συμβαίνει όταν ένα μοντέλο καταγράφει υπερβολικά τις λεπτομέρειες των εκπαιδευτικών δεδομένων, οδηγώντας σε υψηλή ακρίβεια στα δεδομένα κατάρτισης αλλά σε κακή απόδοση στα αόρατα δεδομένα.

Υπολογισμός για τον εντοπισμό υπερπροσαρμοσμένων

Η παρακολούθηση της διαφοράς μεταξύ της εκπαίδευσης και της ακρίβειας ή της απώλειας επικύρωσης βοηθά στην ανίχνευση υπερπροσαρμοσμένων.

  • Εκπαιδευτική Απώλεια: Το σφάλμα στο σύνολο της εκπαίδευσης.
  • Απώλεια απόδοσης: Το σφάλμα στο σύνολο επικύρωσης.
  • Διαφορά: Το χάσμα μεταξύ των μετρήσεων εκπαίδευσης και επικύρωσης.

Προληπτικά μέτρα

Οι στρατηγικές εφαρμογής μπορούν να μειώσουν την υπερβολική προσαρμογή και να βελτιώσουν τη γενίκευση των μοντέλων.

  • ⁇ γκουλαλικοποίηση: Τεχνικές όπως οι L1 και L2 προσθέτουν ποινές στα στάθμιση μοντέλων.
  • Dropout: Τυχαία απενεργοποιεί τους νευρώνες κατά τη διάρκεια της εκπαίδευσης για την πρόληψη της συν-προσαρμογής.
  • Πρόωρη διακοπή: Σταματά την εκπαίδευση όταν η απόδοση επικύρωσης σταματά να βελτιώνεται.
  • Αύξηση Δεδομένων: Επεκτείνει τα δεδομένα κατάρτισης με μετασχηματισμούς.
  • Απλοποίηση μοντέλου: Μειώνει την πολυπλοκότητα του μοντέλου με τη μείωση των στρωμάτων ή παραμέτρων.