Η υπερβολική προσαρμογή συμβαίνει όταν ένα νευρωνικό δίκτυο μαθαίνει τα δεδομένα της εκπαίδευσης πολύ καλά, συμπεριλαμβανομένου του θορύβου και των απώτεροι, πράγμα που μειώνει την ικανότητά του να γενικεύει σε νέα δεδομένα.

Σημάδια υπερταίριασης

Οι κοινοί δείκτες περιλαμβάνουν υψηλή ακρίβεια εκπαίδευσης σε συνδυασμό με σημαντικά χαμηλότερη ακρίβεια επικύρωσης. Επιπλέον, η απώλεια εκπαίδευσης συνεχίζει να μειώνεται ενώ η απώλεια επικύρωσης οροπεδίων ή αυξήσεων.

Τεχνικές για την υπερταχύτητα της Mitigate

Αρκετές μέθοδοι μπορούν να βοηθήσουν στη μείωση της υπερβολικής προσαρμογής στα νευρωνικά δίκτυα:

  • ⁇ γκουλαλικοποίηση: Προσθέτει ποινή στη λειτουργία απώλειας για να αποθαρρύνει τα σύνθετα μοντέλα, όπως η ρύθμιση L1 ή L2.
  • Dropout: Τυχαία απενεργοποιεί τους νευρώνες κατά τη διάρκεια της εκπαίδευσης για την πρόληψη της συν-προσαρμογής.
  • Πρόωρη διακοπή: Σταματά την εκπαίδευση όταν η απόδοση επικύρωσης αρχίζει να μειώνεται.
  • Μείωση δεδομένων: Αυξάνει την ποικιλομορφία των δεδομένων κατάρτισης μέσω μετασχηματισμών.
  • Μείωση της πολυπλοκότητας του μοντέλου: Χρησιμοποιεί απλούστερες αρχιτεκτονικές με λιγότερες παραμέτρους.

Υπολογισμός και Μετρικοί

Η παρακολούθηση μετρικών όπως η απώλεια επικύρωσης και η ακρίβεια βοηθά στον εντοπισμό υπερπροσαρμοζόμενος. Υπολογισμοί όπως η διαφορά μεταξύ της εκπαίδευσης και της ακρίβειας επικύρωσης μπορούν να ποσοτικοποιήσουν την υπερβολική σοβαρότητα.