Η υπερβολική προσαρμογή συμβαίνει όταν ένα μοντέλο μαθαίνει θόρυβο στα δεδομένα κατάρτισης, μειώνοντας την ικανότητά του να γενικεύει σε νέα δεδομένα. Η εφαρμογή αυτών των στρατηγικών περιλαμβάνει συγκεκριμένους υπολογισμούς και βέλτιστες πρακτικές.

Κατανόηση Αποχώρησης

Το Dropout απενεργοποιεί τυχαία ένα κλάσμα νευρώνων κατά τη διάρκεια της εκπαίδευσης, το οποίο βοηθά να αποφευχθεί το δίκτυο από το να γίνει πολύ εξαρτημένο από συγκεκριμένες οδούς.

Τυπικά ποσοστά εγκατάλειψης κυμαίνονται από 0.2 έως 0.5. Για παράδειγμα, ένα ποσοστό εγκατάλειψης 0,3 σημαίνει ότι το 30% των νευρώνων απενεργοποιούνται κατά τη διάρκεια κάθε εκπαιδευτικής φάσης.

Εφαρμογή της τακτικοποίησης

Η τακτικοποίηση προσθέτει ποινή στη λειτουργία απώλειας για να αποθαρρύνει τα σύνθετα μοντέλα. Η πιο κοινή μορφή είναι η τακτοποίηση L2, η οποία τιμωρεί τα μεγάλα βάρη. Ο όρος τακτοποίησης υπολογίζεται ως:

]Χαμηλή = Αρχική Απώλεια + λ * Σ(w2]

όπου το λ (λάμβδα) είναι η παράμετρος κανονικοποίησης, και το Σ(w[[LFT:0]]2) είναι το άθροισμα των τετραγωνισμένων βαρών. Η επιλογή ενός κατάλληλου λ είναι κρίσιμη· οι τυπικές τιμές κυμαίνονται από 0,001 έως 0,1.

Στρατηγικές για την πρόληψη της υπερβολικής προσαρμογής

Άλλες στρατηγικές περιλαμβάνουν την πρόωρη διακοπή, την αύξηση των δεδομένων και την διασταυρούμενη επικύρωση. Τακτική παρακολούθηση της απόδοσης επικύρωση βοηθά στον καθορισμό των βέλτιστων παραμέτρων κανονικοποίησης.

  • Χρήση αποβολής με τιμές μεταξύ 0, 2 και 0, 5
  • Εφαρμογή L2 κανονικοποίησης με λ περίπου 0,01
  • Εφαρμογή πρόωρης διακοπής κατά τη διάρκεια της εκπαίδευσης
  • Στοιχεία για την κατάρτιση με σκοπό την αύξηση της ποικιλομορφίας